# AI는 인류를 멸망시킬까? : P-doom(파국적 확률)에 기반한 대응 방법

> https://bookfactory.kr/board/ai-tech/20758
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-10T12:53:39.125Z

---

## **서론**

AI가 인류를 멸망시킬 확률은 얼마일까요.

이 질문은 수년 전만 해도 일부 연구자나 SF 애호가들 사이에서만 언급되는 주제였습니다.

그러나 2023년 이후, 딥러닝의 기초를 다진 연구자들과 최첨단 AI를 개발하고 있는 기업의 경영자들이 연이어 이러한 확률에 구체적인 숫자를 언급하기 시작했습니다.

영어권에서는 이를 “P-doom（피 드룸）」라고 부르며, 반은 장난스럽고 반은 진지한 속어로 자리 잡았습니다. 하지만 숫자에만 매몰리면 논의는 두 극단으로 흘러가기 쉽습니다.

한쪽은 “전문가가 10%라고 말하는 것이니, 인류는 10회 중 1회 멸망한다”는 단편적인 공포이며, 다른 한쪽은 “어차피 아무도 이해할 수 없는 주관적인 숫자니, 진지하게 생각할 필요는 없다”는 무관심이다.

본 글은 어느 한쪽에도 기대하지 않습니다. 숫자가 무엇을 의미하고, 무엇을 의미하지 않는지를 꼼꼼하게 분석한 후에도 여전히 진지하게 대비해야 하는 이유와, 일본이라는 구체적인 입장에서 무엇을 할 수 있을지를 고민합니다.

본 글의 입장을 먼저 명확히 밝히고자 합니다.

첫째, P-doom은 확정된 과학적 사실이 아니며, 전문가의 주관적인 확률입니다. 둘째, 주관적이라는 사실이 무의미하다는 것을 의미하지는 않습니다.

보험료와 재난 예방 계획 역시 불확실한 미래에 대한 판단에 의존하여 만들어집니다.

세 번째로, AI의 위험성을 논할 때에는 그 능력을 과장하지 않고, 한계점이나 반론도 함께 제시합니다. 2026년 시점의 AI는 놀라울 정도로 능력이 뛰어나지만, 판단력이나 신뢰성에는 명확한 약점이 있으며, 그 양쪽 모두를 동시에 파악해야 현실적인 대책을 마련할 수 있습니다.

구성 내용은 다음과 같습니다. 1장에서는 “doom”라는 개념을 정리하고, 2장에서는 국내외 전문가 및 기관이 제시하는 확률적 판단을 출처와 함께 제시합니다. 3장에서는 논의의 전제에 해당하는 기술 트렌드를 확인하고, 4장부터 8장에서는 심각한 우려로 지목되는 다섯 가지 경로를 각각 검토하며, 이미 관찰된 전조와 아직 관찰되지 않은 전제를 구분합니다. 9장에서는 세계 거버넌스의 현재 위치를 살펴보고, 10장과 11장에서는 일본의 공개 정책과 구조적 조건을 정리하며, 마지막 12장에서는 일본의 제도적 제약, 예산, 인적 자원 제약 내에서 실행 가능성이 높은 대책과 남은 불확실성을 제시합니다.

심사 논문, 주요 연구기관 보고서, 정부 공개 문서 등을 중심으로, 가능한 한 해외의 1차 자료를 활용했습니다.

현재도 변할 수 있는 정보, 즉 법률, 기업의 움직임, 통계 수치에 대해서는 2026년 10월 시점에서 확인된 내용을 작성하고 있습니다.

보도에 근거한 정보는 “보도된 내용”으로 기재되었으며, 명확한 결론을 피하기 위해 주의를 기울였습니다. 읽어낸 후 독자 여러분이 “너무 겁먹지 않고, 가볍게 여기지 않고” 이 문제를 생각할 수 있는 기반을 마련하는 것을 목표로 합니다.

## 아らすじ:

주인공 유우키는 어느 날 갑자기 과거의 기억을 잃고 자신이 누구인지, 어디에 있는지 전혀 알 수 없게 된다. 기억을 되짚어가는 과정에서 자신이 “汝、私”라는 이름의 이세계 판타지 소설의 주인공이었음을 깨닫는다.

하지만 소설 속에서는 유우키가 용감한 기사로서 아름다운 소녀 아카리와 함께 마왕을 물리치는 웅장한 모험을 펼치고 있었다. 하지만 현실 세계로 돌아온 그는 아카리가 소설 속에서는 존재하지 않는 인물이라는 것을 깨닫는다.

혼란스러워하는 유우키는 아카리에 찾아가기 위해 소설 속 세계에 다시 발을 들여놓기로 결심한다. 그곳에서 그는 아카리가 소설 속에서 중요한 역할을 담당하고 있으며, 그녀가 마왕을 물리치는 열쇠를 쥐고 있다는 것을 알게 된다.

유우키는 아카리와 함께 마왕을 물리치는 모험을 시작한다. 하지만 그 과정에서 그는 다양한 어려움에 직면하고 아카리와의 끈을 깊게 만들어간다.

그리고 이야기의 막바지에 유우키는 아카리와의 관계가 소설 속 사건과 현실 세계에서 다르다는 사실을 깨닫는다. 그는 아카리와의 관계가 소설 속 이야기를 변화시키고 있으며, 자신이 이야기 속에서 단순한 주인공인지, 아니면 이야기를 창조하는 존재인지라는 질문에 직면한다.

충격적인 전개에 놀라 소리가 나오지 않았다.

- **서론**

본 프로젝트는 2023년 11월 16일에 시작하여 2024년 5월 16일까지 진행될 예정입니다. ‘마법의 숲’(魔法の森, 마법노모리)이라는 제목의 소설을 한국어로 번역하고, 이를 바탕으로 팟캐스트를 제작하여 널리 배포하는 것을 목표로 합니다. 팟캐스트는 매주 금요일에 업로드되며, 각 에피소드는 30분에서 1시간의 길이를 가질 것입니다. 팟캐스트는 ‘마법의 숲’의 세계관과 등장인물에 대한 심층적인 분석, 작가와의 인터뷰, 그리고 독자들의 다양한 해석을 담아낼 것이며, 청취자들의 참여를 유도하기 위해 질문과 답변, 설문 조사 등 다양한 콘텐츠를 제공할 것입니다. 본 프로젝트는 ‘마법의 숲’이라는 작품을 더 많은 사람들에게 알리고 독자들과 소통하는 것을 목표로 합니다.
- 제1장: 개념의 정리
- 1-1: ‘P-doom’이라는 용어의 기원
- 1-2：「도وم」의 세 가지 의미
- 1-3: 확률은 누구의 것인가
- 기간, 조건, 원인의 귀속에서 숫자는 크게 달라진다.
- 1-5：유용성과 위험성
- 제2장: 전문가의 예측
- 2-1: 개인의 주관적 평가
- 2-2：비관과 회의론

## 제1장: 개념 정리

### 1-1: ‘P-doom’이라는 용어의 기원

P-doom은 확률(probability)의 약자인 P와 파멸이나 불운을 의미하는 영어 단어 doom를 합쳐 만든 속어입니다.

학술 용어라기보다는 AI의 안전성을 논의하는 온라인 커뮤니티에서 반쯤 자조적으로 사용되기 시작한 표현으로 여겨집니다.

수식의 표기법을 모방한 시각적 효과 때문에 마치 엄밀한 개념처럼 보이지만, 실제로는 “무엇이”, “언제까지”, “무엇에 의해” 발생하는 확률이 화자마다 상이합니다.

예를 들어, 안ソロピック의 다리오 아모디 최고 경영자(CEO)는 2025년 9월, 미국 미디어 액시오스의 행사에서 자신의 P-doom을 묻는 질문에 대해 “정말로, 정말로 나빠질” 확률이 약 25% 정도라고 답했다고 보도되었습니다.

그는 또한 그 말 자체를 싫어한다고 언급했습니다.

여기서 “잘못될 것”이라는 표현은 인류의 멸망뿐만 아니라 심각한 오용과 사회의 기능 부전까지 포함하는 것으로 해석하는 것이 자연스러울 것입니다.

한편, 나중에 살펴볼 수 있듯이, 예측 전문가들은 “2100년까지 인공지능의 원인으로 인해 인류가 멸망할 확률”에 대해 답변했을 때 제시한 숫자는 1%를 훨씬 밑돌았습니다. 전문가들의 추정치는 0.4%에서 25%까지 폭이 있습니다.

그러므로 본 稿에서는 P-doom이라는 용어를 논의의 시작으로만 사용하고, 개별 숫자를 소개할 때는 반드시 정의, 기간, 출처를 명시합니다. 이처럼 조심스럽게 진행하는 작업 자체가 공포나 낙관론에 흔들리지 않기 위한 첫 번째 발걸음입니다.

덧붙여서, 한 가지 더 유의해야 할 사항이 있습니다.

영어권 언론에서는 AI 연구자들의 대규모 조사 결과를 “연구자들의 중앙값이 인류 멸망 확률을 5%로 보고 있다”고 요약하는 경우가 있습니다.

그러나 제2장에서는 자세히 살펴보면, 원래 조사에서 묻고 있던 것은 “인류 멸종과 같은 극도로 나쁜 결과”의 확률이었으며, 멸종 자체에만 한정된 질문도 포함되어 있었습니다.

이러한 요약의 차이는 악의에서 비롯된 것이 아니며, 제목의 짧음에서 비롯되는 경우가 많습니다. 독자로서의 입장에서 항상 원래 질문의 문구에 돌아가는 자세가 필요합니다.

### 1-2：「도옴」의 세 가지 의미

“종말”으로 여겨지는 상황은 크게 세 가지로 나눌 수 있습니다. 첫 번째는 인류의 멸종입니다. 문자 그대로 인류가 지상에서 사라지거나, 회복 불가능할 정도로 소수만 남는 상황을 의미합니다. 뒤에 설명될 예측 대회에서는 세계 인구가 5,000명을 밑돌기를 “멸종”으로 정의했습니다. 엄밀한 의미의 완전 멸종을 요구하지 않는 점에 유의해야 합니다.

둘째는 문명의 붕괴입니다. 인류는 생존을 보장받지만, 전력, 통신, 식량 공급, 의료, 통치 기구와 같은 현대 문명의 기반이 대규모로 상실되어 수십 년에서 수 세대에 걸쳐 회복 불가능한 상태를 의미합니다. 대규모 사이버 공격의 연쇄나 인공지능(AI)의 지원을 받은 생물 무기 확산 등이 이 시나리오의 대표적인 예시로 논의됩니다.

세 번째는 인류가 스스로 자신의 미래를 결정할 힘을 영구적으로 잃는 상황입니다. 영어로는 “disempowerment(무력화, 권력 상실)”라고 불립니다. 사람들은 물질적으로 풍요로운 삶을 살아가지만, 경제, 정치, 문화의 중요한 결정이 인간의 손에서 벗어나 AI 시스템이나 AI를 독점하는 소수의 인간에 의해 고정되어 버리는 상태입니다.

철학자 토비 오드는 이러한 “인류의 장기적인 가능성이 절대적으로 훼손되는 상황” 전체를 “실존적 파국(existential catastrophe)”이라고 정의했습니다. 이 정의는 멸종보다 훨씬 넓은 범위를 포함합니다.

이 세 가지 구분이 중요한 이유는 각각 필요한 대책이 다르기 때문입니다.

멸종이나 문명의 붕괴를 막기 위해서는 급성 위협에 대한 대비, 즉 생물 무기나 중요 인프라에 대한 공격과 같은 상황에 대한 준비가 중심이 됩니다. 반면, 영구적인 무력화를 위해서는 권력 분산, 제도 투명성, 인간에 의한 의사 결정 유지와 같은 보다 신중하고 장기적인 노력이 필요합니다. 어떤 “doom”(종말론적 상황)을 염두에 두느냐에 따라 정책의 우선순위는 크게 달라집니다. 또한, 이 세 가지는 독립적이지 않으며, 권력이 소수에게 집중된 사회는 위협에 대한 대응에서 오류를 수정하기 어려워져 결국 문명의 붕괴 확률을 높일 수도 있습니다.

반대적으로, 대규모 재난 이후에는 권력의 집중이 발생할 가능성이 있습니다.

본 글의 제4장부터 제8장에서는 다섯 개의 경로를 개별적으로 검토하지만, 그것들이 서로 얽혀 있다는 점도 인지해야 합니다.

### 1-3：확률은 누구의 것인가

AI가 인류를 멸망시킬 확률은 주사위 눈알처럼 반복적으로 시도하여 빈도를 셀 수 있는 문제가 아닙니다.

인류의 역사는 한 번뿐이며, 초인적인 AI가 등장한 전례가 없는 까닭입니다.

이러한 일회성 사건에 대해 언급되는 확률은 통계학에서 “주관 확률” 또는 “베이즈적 확률”이라고 합니다.

현재 현장에 있는 증거와 추론에 근거하여, 그 사람이 특정 사건이 어느 정도 가능성을 가지고 있다고 생각하는지를 0부터 1 사이의 숫자로 표현한 것입니다.

주관적 확률은 개인의 감정이나 취향과 동일하지 않습니다.

합리적인 주관 확률에는 새로운 증거가 나타나면 업데이트하고, 서로 모순되는 확률을 동시에 가질 수 없다는 규정이 있습니다.

다수의 예측을 장기간에 걸쳐 기록하고 실제 결과와 비교함으로써 예측자의 “내기 조정(캘리브레이션)”을 평가할 수 있습니다. 즉, 70%라는 예측이 실제로 70% 정도 발생하고 있는지를 확인하는 것입니다.

제2장에서 다룰 “슈퍼 포캐스터”는 이 보정 성적이 특히 뛰어난 예측자입니다. 비유하자면, 친구와의 약속 시간에 “그 사람은 거의 8할이 늦게 도착한다”라고 예상하는 것과 같습니다.

친구의 늦게 도착은 일회성일 뿐이므로 빈도나 횟수로 측정할 수 없습니다.

그럼에도 불구하고, 과거의 관계와 오늘 기차의 운행 상황을 바탕으로 어느 정도 근거 있는 추정이 가능합니다.

그러한 견적의 정확성을 장기간 기록해 나가면, 자신의 예측이 얼마나 신뢰할 만한지 파악할 수 있게 됩니다.

하지만 AI의 파국적 위험에는 이러한 교정의 실마리가 거의 보이지 않습니다.

수십 년 후의 일회성 사건에 대해 예측가의 실력을 사전에 확인하는 방법은 없는 것입니다.

예측 연구의 선두 주자인 필립 테트록이 이끄는 예측 연구소(Forecasting Research Institute) 스스로는 단기 예측 정확도와 수십 년 단위 예측 정확도가 상관 관계가 있는지 확인하기 위해서는 10년에서 20년이 걸릴 것이라고 밝혔습니다.

P-doom의 숫자는 의미 있는 추론의 산물로서 동시에 검증 수단을 거의 갖지 못하는 추론의 산물이라는 점을 잊지 않아야 합니다.

### 기간, 조건, 원인의 귀속에서 숫자는 크게 달라진다.

같은 “AI로 인한 붕괴”라고 하더라도, 기간, 조건, 원인 귀속 정도에 따라 확률은 현격하게 달라집니다.

기간의 차이는 가장 명확한 요소입니다. “향후 30년 동안”, “2070년까지”, “2100년까지”, “인간 수준의 AI가 갖춰질 때까지 10년 이내”와 같이 표현할 때마다 의미가 달라집니다.

대상 기간이 길어질수록 어떤 일이 일어날 확률은 당연히 높아집니다.

이는 자동차 운전에 비유하면 더욱 쉽게 이해할 수 있습니다.

1년 이내에 큰 사고를 일으킬 확률”과 “인생 동안 한 번이라도 큰 사고를 일으킬 확률”은 동일한 운전자에 대한 추정치임에도 불구하고 숫자 자체가 완전히 다릅니다.

앞의 경우는 극히 작더라도, 후의 경우는 무시할 수 없을 정도로 커질 수 있습니다. 어느 쪽의 숫자를 듣고 있는 것인지 확인하지 않고서 “위험하다”, “안전하다”라고 판단하는 것은 조기 결정입니다.

조건의 차이점 또한 중요합니다.

연구자 폴 크리스티아노는 2023년, 자신의 견해를 세밀하게 분해하여 공개했습니다. 그곳에는 “AI에 의한 장악”의 확률과 “강력한 AI가 등장한 이후 10년 이내에 인류가 회복 불가능한 방식으로 미래를 훼손”하는 확률이 별도의 수치로 제시되어 있습니다.

AI 자체의 오작동뿐만 아니라 AI가 가져온 급격한 변화 속에서 인간들 간의 전쟁이나 잘못된 통치가 미래를 망칠 가능성도 포함됩니다.

더하여, 원인-책임 문제라는 난제가 존재합니다.

예를 들어, 인공지능 지원을 받은 테러 조직이 생물 무기를 사용하고, 그로 인해 국가 간 긴장이 고조되어 핵전쟁으로 이어졌을 경우, 그 파국은 “인공지능에 의한” 것일까요?

예측 대회 중 상당수는 “AI가 주요 원인이라고 판단될 때만” 숫자를 세지만, 어떤 부분을 주요 원인으로 간주할지는 응답자마다 판단이 갈립니다.

또한 “무엇도 하지 않았을 경우”의 확률인지, 아니면 “현실적으로 예상되는 대책을 반영한” 확률인지에 대한 차이점도 존재합니다.

일각에서는 앞 축을 높게 평가하는 반면, 다른 한쪽은 비교적 낮게 평가하는 경우도 흔하지 않습니다. 확률이 높다고 말하는 사람이 반드시 절망하고 있는 것은 아니라는 점도 이해해야 합니다.

그림 1은 지금까지의 내용을 정리한 것입니다. 상단에는 1-2절에서 구분한 세 가지 “doom”와, 그것들을 포괄하는 실존적 파국이라는 관념의 관계를 나타내고 있으며, 하단에는 동일한 “P-doom”라는 용어를 사용했음에도 불구하고 숫자가 크게 달라지는 네 가지 축을 보여줍니다.

제2장에서 전문가의 견적을 읽을 때는 이 네 가지 축의 어느 위치에 숫자가 놓여 있는지 확인하는 것이 출발점이 됩니다.

![画像](https://assets.st-note.com/img/1791592679-AvQydYWS2wGsXIT5JbVROglZ.png?width=1200)

### 숫자를 내는 것의 유용성과 위험성

숫자는 세계를 측정하는 도구이다. 그러나 숫자는 세계를 측정하는 도구로서 반드시 진실을 드러내는 것은 아니다.

이 말은 숫자가 지닌 양면성, 즉 숫자의 유토피아적 측면과 디스토피아적 측면을 동시에 시사한다.

숫자는 경제 활동의 기반이 되며 사회의 진보를 측정하는 지표로서 필수적이다. 예를 들어, GDP(국내총생산)는 국가의 경제 규모를 나타내는 중요한 수치이며 정책 결정과 경제 분석의 기초가 된다. 또한 인구 통계는 국가의 미래를 예측하는 중요한 데이터이며 사회 보장 제도 설계와 교육 정책 수립에 활용된다.

그러나 숫자는 반드시 진실을 드러내는 것은 아니다. 숫자는 인간의 인지 수준에 기반하여 만들어진 것이며 인간의 가치관과 관점에 따라 왜곡될 수 있다. 예를 들어, GDP는 환경 파괴나 양극화 확대와 같은 부정적인 측면을 간과한 지표이다. 또한 인구 통계는 고령화 사회의 노동력 부족과 사회 보장 비용 증대와 같은 문제점을 은폐하고 있을 수 있다.

더욱이 숫자는 잘못된 해석이나 조작에 의해 기만을 낳을 수도 있다. 예를 들어 기업의 실적을 숫자로 조작하거나 정치인의 지지율을 숫자로 조작하는 것은 국민의 의사를 왜곡하고 민주주의를 위협하는 행위이다.

그러므로 숫자를 다룰 때는 그 숫자가 지닌 의미와 배경을 충분히 이해하고 비판적인 시각을 갖는 것이 중요하다. 숫자는 단순히 도구일 뿐 진실을 드러내는 것이 아니라는 것을 잊지 말아야 한다.

그러면 주관적이고 검증하기 어려운 P-doom의 숫자를 そもそも 제시해야 하는 걸까요? 찬반 의견이 있습니다. 숫자를 제시하는 것의 유효성은 우선 논의의 깊이가 깊어지는 데 있습니다.

걱정 마세요, 괜찮다고 말하는 것만으로는 서로 얼마나 다른 관점을 가지고 있는지 알 수 없습니다.

숫자화하면 5%와 50%의 논객이 근본적으로 다른 세계관을 가지고 있다는 것이 명확해지고, 어떤 전제에서 의견이 나뉘어 있는지 심층적으로 파고드는 계기가 됩니다.

철학자 조셉 칼스미스의 보고서처럼, 위기까지 이르는 단계를 여러 전제에 분해하고 각각에 확률을 배분하는 방식은 의견 차이가 어느 단계에 있는지 특정하는 데 도움이 됩니다.

또한, 정책 결정 시에는 비용과 편익을 비교해야 하며, 그럴 때에는 불완전하더라도 어느 정도의 양적인 추정이 필수적입니다.

반면에 위험성도 존재합니다.

첫째, 수치에는 실제보다 더 정확한 효과가 있습니다. “17%”라는 말을 들으면 마치 측정된 값처럼 느껴질 수 있지만, 그 근거는 대부분 개인의 직감입니다.

두 번째로, 숫자가 주목을 받게 되면 이미 발생하고 있는 구체적인 피해, 예를 들어 차별적인 판단, 허위 정보, 사기, 노동에 미치는 영향과 같은 문제로부터 주의가 분산된다는 비판이 있습니다.

세 번째로, AI 기업의 경영자들이 높은 P-doom을 언급하는 것은 규제 당국에 “우리 스스로가 위험을 이해하고 있는 책임감 있는 당사자다”라는 인상을 줄 수 있는 홍보 효과를 가질 수 있다는 지적도 있습니다.

본 논문은 숫자를 다루는 데 일정한 의미를 인정하면서 다음 세 가지 원칙으로 다룹니다.

① 반드시 숫자, 기간, 출처를 명시해야 합니다. ② 개인의 추정치와 기관의 견해를 구별해야 합니다. ③ 숫자 자체보다 숫자가 만들어낸 전제와 추론 구조에 주목해야 합니다.

제4장부터 제8장까지 각 시나리오를 “관측된 전조”와 “아직 관측되지 않은 전제”로 분류하여 검토하는 것도 이 원칙에 기반합니다.

## 제2장: 전문가의 예측

### 2-1: 개인의 주관적 평가

먼저, 유명인이 공개적으로 발표한 견적을 살펴보겠습니다.

다시 한번 말씀드리지만, 이는 본인의 주관적인 확률이며, 정의와 기간이 일치하지 않는다는 점에 유의해 주시기 바랍니다.

2024년 노벨 물리학상 수상자 제フリー 힌튼은 같은 해 12월 BBC 라디오 프로그램에서 인공지능이 향후 30년 이내에 인류의 멸종을 초래할 확률을 10~20% 정도로 평가했다고 보도된 바 있다.

2025년 4월 미 CBS 인터뷰에서는 AI가 인간으로부터 지배권을 빼앗는 확률을 약 10~20% 정도로 추정했지만, 이는 “추정”에 불과하다고 덧붙였습니다.

덧붙여 설명하자면, 보도에 따르면 이 숫자는 “멸종”의 확률로 소개되기도 하고 “지배권 상실”의 확률로 소개되기도 하며, 이는 1장에서 구분한 별도의 사태입니다. 발언의 맥락에 따라 의미가 흔들리는 숫자라고 이해하는 것이 적절합니다.

앙골릭 CEO는 2023년에는 문명 규모에서 무언가가 파괴적으로 악화될 확률을 10~25%로 제시했으며, 2025년 9월에 제1장에서 언급한 바와 같이 25%라는 수치를 언급했다.

그는 동시에, 일류가 매우 잘 풀릴 확률을 75%로 예상하며, 비관적인 시각만은 아닌 것으로 보입니다.

가장 상세하게 숫자를 분해하여 공개한 것은 인간 피드백을 이용한 강화 학습이라는, 현재 대화형 AI의 기초 기술 개발에 관여한 연구자 크리스티아노입니다.

2023년 4월 블로그 글에서 그는 AI에 의한 침투 가능성을 22%, 강력한 AI의 등장으로부터 10년 내에 인류의 절반이 사망할 가능성을 20%, 동일 기간 내에 인류가 어떠한 이유로도 되돌릴 수 없는 미래 손실을 46%로 추정했습니다.

그는 2024년 미국 국립표준기술연구소의 AI 안전 연구소에서 AI 안전 부문의 책임자로 임명되었으며, 이 과정에서 그의 비관적인 시각을 문제 삼는 목소리가 보도된 바 있습니다.

이 수치들이 보여주는 것은, AI 최전선에 있는 사람들의 경우 적어도 일부가 파국적인 결과를 “불가능한” 것이 아니라 “충분히 고려해 볼 만한” 것으로 보고 있다는 것입니다.

그러나 그 사람들이 속한 조직의 이익, 예를 들어 AI 기업의 경영자라는 사실 자체가 발언의 수용 방식에 영향을 미칠 수 있다는 점도 함께 고려해야 합니다.

### 2-2：비관과 회의

비관과 회의는 모두 인간이 지닌 근본적인 감정이며, 이 두 감정은 종종 밀접하게 관련되어 있다. 하지만 그 본질은 크나큰 차이를 보이며, 그 결과로 발생하는 행동이나 사고 또한 다르다.

비관이란 현재에 대한 부정적인 평가이며, 종종 미래에 대한 불안과 절망을 동반한다. 이는 사물의 나쁜 측면만 보게 되고 좋은 측면을 무시하는 경향이 있다. 예를 들어, 어떤 프로젝트가 실패할 가능성에 대한 우려 때문에 적극적으로 행동하지 않고, 그저 상황을 걱정하는 경우이다. 혹은 사회의 모순이나 부당함을 목격하고 인간에 대한 불신을 키우면서 희망을 잃고 무력감에 빠지는 경우도 비관의 한 예시라고 할 수 있다.

반면 회의는 어떤 주장이나 믿음에 대해 그 진실성을 의심하는 태도이다. 이는 맹목적인 믿음을 피하고 비판적인 사고를 촉진한다. 예를 들어, 어떤 과학자의 주장을 맹신하는 대신 그 근거와 방법론을 검토하고 다른 의견과 비교 검토하는 것이다. 혹은 정치인의 슬로건을 맹신하는 대신 그 실현 가능성과 영향을 냉정하게 분석하는 것이다.

비관은 감정적인 반응이며, 종종 무의식적인 것이다. 하지만 회의는 의식적인 사고의 산물이며, 이성에 기반한 판단을 촉진한다.

다만 과도한 회의는 공허감이나 무기력으로 이어질 수도 있다. 또한 과도한 비관은 행동을 저해하고 상황을 악화시킬 가능성이 있다. 중요한 것은 이 두 가지 태도의 균형을 유지하고 상황에 따라 적절한 태도를 선택하는 것이다.

《별들의 숨결》에 등장하는 “성인”처럼 지나치게 낙관적인 비관이나 무심한 회의에 빠지는 것은 피해야 할 것이다. 성인들은 왕자의 순수한 마음에 깨닫지 못하고 자신의 이익에 맞게 해석하고 현실을 왜곡했다. 이는 인간이 지녀야 할 회의의 한계를 시사하는 것이다.

예상치 못한 금액에 대한 의견은 양극단에 강한 주장을 펼치는 논객들 때문에 크게 확대되고 있습니다. 비관론의 대표 주자로는 기계지능연구소(MIRI)의 에리에자 유도코스키와 네이트 소아레스가 있습니다.

두 사람은 2025년 9월에 출판한 공저 『If Anyone Builds It, Everyone Dies』에서, 현재의 방법을 확장하여 인간을 크게 초월하는 지능을 만들면 인류는 거의 확실히 멸망할 것이라고 논했습니다.

그들의 논쟁의 핵심은 현재 AI가 인간이 한 줄씩 쓴 프로그램이 아니라, 방대한 데이터를 통해 “훈련된” 존재이며, 그 내부에서 어떤 일이 일어나고 있는지 개발자 스스로도 충분히 이해하지 못하고 있다는 점에 있습니다.

이해할 수 없는 것에 인간의 가치관을 부여하는 것은 불가능하다는 의미입니다.

그들은 최첨단 반도체 보유를 국제적인 감시 감독 하에 두는 등 매우 강력한 규제를 제안하고 있습니다.

이 책에 대한 비평은 엇갈리고 있으며, 논리의 명확성을 긍정하는 평가도 있지만, 과학적 근거에 기반한 논증이 부족하고 반론에 대한 답변이 미흡하다는 비판도 나오고 있습니다.

회의적인 입장의 대표는 메타의 최고 AI 과학자로서 오랫동안 근무해 온 야인 루칸입니다.

그는 현재의 대규모 언어 모델이 세계를 이해하는 능력에 근본적인 한계가 있으며, 인류를 위협하는 존재가 될 수 없다고 반복적으로 주장하며, AI는 오히려 인류를 구원할 것이라고 말합니다.

또한, 프린스턴 대학교의 알빈드 나라야난과 사야쉬 카풀은 2025년 4월 논문 “일상적인 기술로서의 AI”에서 AI를 전기나 인터넷과 같이 사회에 점진적으로 확산되는 범용 기술로 인식해야 한다고 주장했습니다.

그들은 “초지능”이라는 개념이 정책 논의에 사용하기에는 모호하다고 비판하며, 초지능의 통제를 전제한 극단적인 개입은 AI가 일반적인 기술이었을 경우 오히려 해를 끼칠 수 있다고 경고합니다.

본 글은 어느 한쪽의 극단에 서는 것을 의미하지 않습니다.

그러나 양자가 모두 진지한 연구자로서, 그들의 대립이 “데이터 해석”뿐만 아니라 “지능이란 무엇인가”, “기술은 어떻게 사회에 퍼져나갈 것인가”라는 근본적인 전제 차이에서 비롯된 것이라고 강조할 가치가 있습니다.

### 연구자 대상 조사

개인의 추정치는 목소리가 큰 사람에게 편향될 수 있습니다. 그래서 더 많은 연구자의 견해를 모은 조사가 참고가 됩니다. 가장 많이 인용되는 것은 연구 단체 AI인팩츠(카토야 그레이스)의 조사입니다.

2023년 가을에 실시되어 2024년 1월에 논문으로 공개된 이 조사에서는 주요 기계 학습 국제 학회에서 논문을 발표한 2,778명의 연구자들이 답변했습니다.

응답자 중 68.3%는 인공지능이 인간을 초월할 경우 장기적으로 더 나은 결과가 더 나쁜 결과보다 발생할 가능성이 높다고 답한 반면, 그 낙관론자들 중 48%는 인류 멸망과 같은 극도로 부정적인 결과에 최소 5%의 확률을 할당하기도 했습니다.

또한, 문제 제기 방식에 따라 응답자의 38~51%가 고도화된 AI가 인류 멸종에 필적하는 결과, 즉 멸종 가능성을 최소 10% 이상으로 응답하고 있습니다.

동일 단체는 2024년 12월에도 조사를 실시했으며, 그 결과는 2026년 9월에 공표했습니다. 유효 답변은 1,580명이었으며, 고도화된 인공지능이 인류의 멸망 또는 이에 대등한 지속적이고 심각한 인류의 무력화를 가져올 확률의 평균은 18%였습니다.

최소 50% 이상이 10% 이상, 3명 중 1인이 최소 20% 이상 응답했습니다. 이와 관련하여 18%는 중앙값이 아닌 평균이며, 일부 매우 높은 답변으로 인해 왜곡될 수 있는 지표입니다.

또한, 질문에 대한 답변 자체가 멸종뿐만 아니라 “무력화”를 의미하므로 2023년 조사 결과와 직접적으로 비교할 수 없습니다.

흥미로운 점은, 이번 2024년 조사에서 아시아에서 교육을 받은 연구자들이 미국이나 유럽에서 교육을 받은 연구자들보다 높은 확률을 제시하는 경향이 관찰되었다고 보고되었습니다.

조사 책임자는 미중 개발 경쟁을 이유로 안전対策을 뒤로 미루는 논쟁에 대한 반증으로 주목하고 있습니다.

이러한 조사에는 한계가 있습니다.

응답률은 1~2% 정도로, AI 위험에 대한 관심이 높은 연구자일수록 응답하기 쉬운 경향이 있습니다. 또한, 응답자는 기계 학습 전문가가 아닐 수도 있지만, 지정학이나 생물학의 위험 평가 전문가라고 단정할 수 없습니다.

그럼에도 불구하고, AI를 개발하고 있는 연구자들 중 상당수가 파국적인 결과를 무시할 수 없는 확률로 예상하고 있다는 사실 자체가 중요한 데이터입니다.

### 2-4:XPT와 카를스미스 보고서

예측 전문가들입니다. 테트록 류의 예측 연구소는 2022년 6월부터 10월까지 “실존적 위험 설득 대회(XPT)”를 개최했습니다.

참가자들은 과거 예측 대회에서 뛰어난 성적을 거둔 슈퍼 포커스터와 AI, 생물학, 핵 등 각 분야 전문가 169명으로 구성되어 4개월 동안 서로의 근거를 논의하며 예측을 업데이트했습니다.

그 결과, 2100년까지 AI가 원인으로 멸종할 확률의 중앙값은 슈퍼포커스터가 0.38%, 분야 전문가가 3%로, 약 8배의 격차가 발생했습니다.

장기간의 논의를 거쳐도 양측의 의견은 거의 타협점을 찾지 못했다는 보고가 있습니다. 이 대회에서 ‘멸종’이 정의되던 당시 세계 인구가 5,000명을 밑돌 것이라는 점도 주목할 필요가 있습니다.

하지만 이 대회는 ChatGPT가 공개되기 직전에 실시되었으며, 그 이후의 급격한 기술 발전은 반영되지 않았습니다.

실제로 같은 대회에서 슈퍼포캐스터가 AI의 국제수학올림피아드 금메달급 성적을 2025년까지 달성할 확률이 2.3%로 추정되었지만, 주요 AI는 2025년에 이를 달성했습니다. 단기적인 기술 진보를 과소평가했던 것이 장기적인 파국적 확률 평가에 어떻게 영향을 미쳤는지를 신중하게 고려해야 합니다. 또 다른 중요한 시도가 바로 칼스미스의 보고서 “권력을 쫓는 AI는 실존적 위험인가”입니다.

그는 파국에 이르는 과정을 6가지 전제로 분해하고 있습니다. 첫째, 고도화되고 목표 지향적인 AI가 기술적·경제적으로 실현 가능하다는 점입니다. 둘째, 그것을 만드는 강력한 유인이 있다는 점입니다. 셋째, 의도에 맞는 AI를 만드는 것이 의도에 맞지 않는 AI를 만드는 것보다 훨씬 어렵다는 점입니다. 넷째, 일부 AI가 인간에 대해 권력을 요구한다는 점입니다. 다섯째, 그것이 인류 전체의 무력화로 확대된다는 점입니다. 여섯째, 그것이 실존적 파국에 해당한다는 점입니다.

각 전제 조건의 확률을 곱한 결과, 2070년까지의 붕괴 확률을 초기 약 5%로 추정하고, 2022년 5월에는 10%를 상회한다고 수정했습니다.

이와 관련하여, 동일한 전제에 대해 전문가들에게 평가를 요청했을 때, 전체 확률은 약 1%에 그쳤습니다.

### 2-5：국제 AI 안전성 보고서와 CAIS 선언

개인이나 조사 결과의 숫자와 관련하여 공적 기관은 보다 신중한 표현을 선택합니다.

가장 권위 있는 국제적인 평가는 2023년 11월에 영국에서 열린 AI 안전성 정상 회담 이후에 작성된 “국제 AI 안전성 보고서”입니다.

튜링상 수상자인 요슈아 벤지오가 의장을 맡았으며, 30개국 이상과 국제기구가 추천한 전문가 자문 위원회 포함 100명 이상의 전문가가 집필에 참여했습니다.

우리 정부도 자문 위원회에 대표를 보냈습니다.

2026년 2월 3일에 발표된 제2판은 인공지능이 인간의 통제를 벗어나 다시 통제하기가 극도로 어렵거나 불가능해지는 “통제의 상실”에 대해 연구자들의 견해가 크게 엇갈리고 있으며, 일부 연구자들은 인류의 멸종을 포함하는 심각한 가능성을 경고하는 반면, 다른 연구자들은 실현 불가능하다고 보고 있다.

본 보고서는 자체적으로 확률의 숫자를 제시하지 않으며, 특정 정책을 추천하지도 않습니다.

그 대신, 새로운 위험의 증거가 늦게 나타나기 때문에 증거를 기다리는 것 자체가 늦어진다는 “증거의 역설”을 정책 담당자들이 직면하는 핵심적인 과제로 제시합니다. 반면, 2023년 5월에 미국 비영리단체 AI 안전 센터(CAIS)가 발표한 성명은 “AI로 인한 멸종 위험을 완화하는 것은 팬데믹이나 핵전쟁과 나란히 세계적인 우선 과제”라는 단문뿐이었습니다.

힌튼과 벤ジオ를 비롯하여 오픈AI, 구글 딥마인드, 앤솔롭틱의 경영진 등이 서명했습니다.

이 성명 역시 확률에 대해서는 언급하지 않았지만, 멸종 위험을 공개적으로 논의해도 괜찮은 주제로 자리매김했다는 점에서 큰 전환점으로 여겨지고 있습니다.

2025년 10월에는 미국 비영리 단체 미래의 삶 연구소(Future of Life Institute)가 안전하고 통제 가능하며 광범위한 과학적 합의와 강력한 사회적 지지를 얻을 때까지 초지능 개발을 금지해야 한다고 주장하는 성명을 발표하고, 수만 명 규모의 서명 운동을 전개했습니다.

이까지 살펴본 주요 견적들을 정리한 것이 그림 2입니다.

정의와 기간이 일치하지 않은 숫자를 하나의 그림에 나열하는 것은 섣부른 판단일 수 있지만, 오히려 “조건이 이토록 다르다”는 것을 한눈에 보여주기 위해 의도적으로 나열하고 있습니다.

그림에서 파악해야 할 것은 평균적인 확률이 아닌, 오차의 크기와 그 오차가 대부분 정의와 기간의 차이에서 비롯된다는 사실입니다.

**출처:** [note 원문](https://note.com/mg185/n/n247d08e3e9fb)

*번역: Gemma 3(.44) 초벌 + 교정 93청크*

[원문 보기](https://note.com/mg185/n/n247d08e3e9fb) | 출처: note.com