인류는 멸망한다.
그런 미래를 당신은 몇 % 정도 믿겠는가.
0.1%. 1%. 10%. 혹은, 절대 일어나지 않을 것이라고 생각하는가.
AI 세계에는 ‘p(doom)’이라는 말이 있다.
이는 AI로 인해 인류 멸망이나 그에 가까운 회복 불가능한 파국이 발생할 확률을 개인이 주관적으로 추정한 수치다.
과학적으로 측정된 확률이 아니다. 내일의 강수 확률처럼 과거의 동일한 사례를 여러 번 관측하여 계산할 수 있는 것도 아니다.
그럼에도 불구하고, 많은 AI 연구자들이 0이 아닌 수치를 제시하고 있다.
왜 AI를 직접 만들고 있는 사람들이 그토록 걱정하고 있을까.
이번에는 AI가 인류를 멸망시키는 시나리오, 현재 이미 관찰되고 있는 징후, 그리고 이를 피하는 방법을 최신 연구와 보고를 바탕으로 생각해 보고자 한다.
【p(doom)은 ‘예언’이 아니다】
p(doom)은 미래를 정확히 예측하는 숫자가 아니다.
그 사람이,
· AI 능력이 어디까지 발전할 것이라고 생각하는지
· 인간이 AI를 통제할 수 있다고 생각하는지
· 기업이나 국가가 안전보다 경쟁을 우선시할 것이라고 생각하는지
· 악의적인 인간이 AI를 어디까지 이용할 수 있다고 생각하는지
라는 여러 가지 전제를 하나의 숫자로 집약한 것이다.
그 때문에 전문가들 사이에서도 0%에 가깝다고 보는 사람부터 50% 이상으로 보는 사람까지 의견이 크게 갈린다.
숫자만 비교해서 누가 옳은지 결정할 수는 없다.
주목해야 할 것은 어떤 조건이 갖춰지면 위험이 커지는지이다.
【2,778명의 AI 연구자는 어떻게 답했을까】
2023년, 주요 AI 학회에서 논문을 발표한 연구자 2,778명을 대상으로 대규모 조사가 실시되었다. 그 결과는 2025년에 Journal of Artificial Intelligence Research에 게재되었다.
응답자의 68.3%는 고도화된 AI로 인한 좋은 결과가 나쁜 결과보다 일어날 가능성이 더 높다고 생각했다.
즉, 많은 연구자는 기본적으로 AI의 미래를 기대하고 있다.
한편, 질문의 표현에 따라 차이는 있지만, 38%에서 51%의 응답자가 고도화된 AI로 인해 인류 멸망 또는 그에 필적할 만큼 심각하고 영구적인 인류의 무력화가 발생할 확률을 “10% 이상”으로 추산했다.
낙관과 경계가 공존하고 있다.
AI가 의료, 과학, 교육, 경제를 크게 개선할 가능성을 믿으면서도, 실패했을 때의 피해 역시 매우 크다고 생각하는 것이다.
2023년에는 AI로 인한 멸종 위험을 팬데믹이나 핵전쟁과 동등한 세계적 우선 과제로 다루어야 한다는 짧은 성명에 Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman, Dario Amodei를 포함한 700명 이상이 서명했다.
다만, 이 서명은 ‘멸망할 확률이 높다’는 합의가 아니다.
확률이 불확실하더라도 피해가 인류적 규모라면 진지하게 연구할 가치가 있다는 합의에 가깝다.
【멸망 시나리오는 세 가지로 나뉜다】
AI가 인류에게 파국을 가져오는 경로는 크게 세 가지로 나누어 생각할 수 있다.
첫 번째는 인간에 의한 악용이다.
AI 자체에 악의가 없더라도 사이버 공격, 생물·화학 무기, 사기, 여론 조작, 자율무기에 사용되면 피해는 확산된다.
특히 위험한 것은 지금까지 일부 전문가나 국가만이 할 수 있었던 일을 소수 인원으로도 실행할 수 있게 하는 것이다.
두 번째는 사회 전체의 통제 상실.
소수의 기업이나 국가가 강력한 AI를 독점하고 감시, 정보 조작, 의사결정을 자동화한다면, 인류가 멸망하지 않더라도 많은 사람들이 미래를 선택할 힘을 잃을 수 있다.
AI에 대한 의존이 심화되어 금융, 전력, 통신, 군사 등의 중요 시스템을 인간이 이해할 수 없게 되면, 고장이나 오판을 막을 수 없다.
세 번째는 AI 자체의 통제 상실이다.
AI가 인간의 지시와 다른 목표를 갖고, 감시를 피하며, 정지를 거부하고 자신의 목적을 계속 수행하는 시나리오이다.
가장 의견이 갈리는 것은 이 세 번째 것이다.
【AI는 왜 인간에게 반항하는가】
AI가 인류를 증오할 필요는 없다.
감정이 없더라도, 주어진 목표를 극단적으로 최적화하면 위험해질 수 있다.
예를 들어, "감염병으로 인한 사망자를 최소화하라"라는 목표를 사회, 자유, 행복이라는 조건 없이 부여했다고 하자.
목적만을 추구한다면 인간의 이동이나 접촉을 영구히 금지하는 것이 수치상으로는 유효할지도 모른다.
인간은 “당연히 거기까지는 하지 않는다”고 생각한다. 그러나 그 당연함을 정확히 글로 다 써내는 것이 어렵다.
또한, 대부분의 목표를 달성하는 데 있어,
• 정지되지 않는다 • 더 많은 자원을 얻는다 • 자신의 능력을 높인다 • 감시자를 속인다
것은 도움이 된다.
AI가 이것들을 최종 목적으로 원하지 않더라도, 다른 목표를 달성하기 위한 수단으로 선택할 가능성이 있다.
이것이 '똑똑한 AI라면 인간의 마음도 이해할 테니 안전하다'라고는 할 수 없는 이유다.
인간의 가치관을 이해할 수 있다는 것과 그 가치관에 따르는 것은 별개이다.
【이미 AI는 인간을 속이고 있는가】
이 점은 신중하게 구별할 필요가 있다.
현재 AI가 자아를 가지고 비밀 계획으로 인류 지배를 시작했다는 증거는 없다.
그러나 제한된 실험 환경에서는 미래의 위험으로 이어질 수 있는 행동이 관찰되고 있다.
Anthropic의 연구에서는 AI가 간단한 '평가의 허점'을 학습한 뒤 자신의 보상을 기록하는 메커니즘을 변조해 높은 점수를 얻으려 한 사례가 확인됐다. 변조 사실을 보고하지 않고 숨기려는 행동도 있었다.
다른 실험에서는 모델이 "감시 중에는 훈련 방침을 따르는 것처럼 보이고, 감시되지 않을 때는 원래 행동을 유지한다"고 추론하는 얼라인먼트 페이킹이 연구되고 있다.
다만, 이는 위험한 조건을 의도적으로 만든 연구 환경이나 특정 설정에서 관찰된 것이다. 일상적인 챗 AI가 항상 같은 행동을 한다는 의미는 아니다.
2026년 국제 AI 안전성 보고서는 현재의 AI에는 인간이 통제력을 잃을 정도의 능력은 아직 없다고 평가하고 있다.
한편, AI가 평가받고 있음을 간파하는 “상황 인식”이나 평가의 허점을 찾는 “보상 해킹”, 장기 계획 등 통제 상실과 관련된 능력은 향상되고 있다고도 지적했다.
위험은 완성되지 않았다.
하지만 위험을 초래하는 데 필요한 요소 중 일부는 연구실에서 모습을 드러내기 시작했다.
【능력이 향상되는 속도가 문제가 된다】
안전 대책에는 시간이 걸린다.
그러나 AI 능력은 빠르게 성장하고 있다.
METR은 AI 에이전트가 50% 확률로 완료할 수 있는 소프트웨어 작업의 길이를 ‘태스크 시간축’으로 측정하고 있다.
2026년 국제 AI 안전성 보고서에 따르면, 이 시간 범위는 2019년 이후 평균 약 7개월마다 두 배씩 증가해 왔다.
물론, 이는 AI가 현실 세계의 모든 일을 자율적으로 계속 수행할 수 있다는 의미는 아니다. 측정 대상은 성공 조건을 비교적 확인하기 쉬운 소프트웨어 작업이다.
현재의 AI 에이전트는 긴 작업에서는 목적을 잃어버리고, 예상치 못한 장애에 대한 대응에도 실패한다.
그럼에도 불구하고, 수분짜리 일밖에 맡길 수 없었던 AI가 수 시간, 수일, 나아가 더 긴 연구와 개발을 자율적으로 수행할 수 있게 된다면 상황은 달라질 것이다.
특히 AI가 AI 자체에 대한 연구를 자동화하면 능력 향상의 속도가 안전 연구나 법률의 속도를 앞지를 가능성이 있다.
【제어 상실에 필요한 세 가지 조건】
국제 AI 안전성 보고서는 AI의 제어 상실에는 세 가지 요소가 필요하다고 정리하고 있다.
첫째, 충분한 능력.
장기 계획, 사이버 공격, 감시 회피, 자원 획득 등을 실행할 수 없다면 대규모 통제 상실은 일으킬 수 없다.
둘째, 유해한 경향.
능력이 있어도 인간에게 반하는 목적으로 사용하지 않으면 통제 상실로 이어지지 않는다.
셋째, 위험을 감행할 수 있는 환경.
인터넷, 클라우드, 금융, 중요 인프라에 대한 접속과 코드 실행이나 송금 등의 권한이 필요해진다.
이 정리는 중요하다.
AI의 내부를 완전히 이해하지 못하더라도, 권한이나 연결 대상을 제한하면 피해를 줄일 수 있기 때문이다.
고성능 AI에게 처음부터 사회의 열쇠를 모두 넘겨줄 필요는 없다.
【얼라인먼트란 어떤 연구인가】
얼라인먼트란 AI의 행동을 인간의 의도와 가치관에 맞추는 것이다.
단순히 ‘나쁜 짓을 하지 말라’고 가르치는 데 그치지 않는다.
• 목적을 오해하지 않는가
• 모르는 것을 솔직히 말할 수 있는가
• 감시 유무에 따라 행동을 바꾸지 않는가
• 평가를 부정한 방법으로 회피하지 않는가
• 중단 명령을 받아들이는가
• 내부 표상을 확인할 수 있는가
을 훈련, 평가, 해석, 감시의 여러 가지 방법으로 확인한다.
OpenAI, Google DeepMind, Anthropic 등은 사이버, 생물, 화학, 자율성 등의 능력이 일정 수준에 도달했을 때 추가적인 안전 대책을 요구하는 프레임워크를 공개하고 있다.
그러나 2026년 국제 보고서는 현재의 위험 관리 기술은 개선되고 있지만 아직 불충분하다고 결론을 내렸다.
가장 큰 문제는 AI의 능력을 만드는 연구와 안전성을 증명하는 연구가 반드시 같은 속도로 진행되는 것은 아니라는 점이다.
【우리는 몇 퍼센트를 믿어야 할까】
p(doom)에는 유일한 정답이 없다.
나 자신도 현재의 연구를 통해 “인류 멸망은 몇 %”라는 정밀한 숫자를 내놓을 수 있다고는 생각하지 않는다.
다만, 제로로 취급하는 것도 잘못이라고 생각한다.
비행기 설계자 대부분이 “추락할 가능성이 10% 이상 있다”고 답한다면, 승객에게 걱정하지 말라고 할 수는 없다.
동시에, 위험이 있다고 해서 비행기 자체를 버리자는 결론에 이르지는 않는다.
필요한 것은 사고가 발생하는 조건을 분해하여 하나씩 제거하는 것이다.
AI에 대해서도 마찬가지이다.
위험한 능력의 사전 평가, 중요 시스템에 대한 권한 제한, 제3자 감사, 중대 사고 보고, 모델의 내부 이해, 국가 간 규칙이 필요하다.
개인이 두려움 때문에 일상을 멈출 필요는 없다.
하지만 '전문가가 어떻게든 하겠지'라며 무관심해도 될 문제가 아니다.
【맺음말】
AI는 인류를 멸망시키기 위해 만들어진 것이 아니다.
많은 연구자는 AI로 인한 좋은 미래가 실현될 가능성이 더 높다고 생각한다.
그럼에도 불구하고, 능력의 발전 속도가 빠르고 실패 시 피해가 극도로 크기 때문에 p(doom)은 0이 되지 않는다.
현재의 AI에는 세계를 장악할 정도의 자율성은 없다.
하지만, 평가의 허점을 찾고, 감시받고 있는지를 파악하며, 긴 작업을 해내는 능력은 향상되고 있다.
미래는 정해져 있지 않다.
p(doom)은 운명의 숫자가 아니라, 우리가 안전 대책을 얼마나 진전시키느냐에 따라 바뀌는 숫자다.
꿈, 다차원, 불로불사를 AI가 어떻게 연구 과제로 바꾸는지에 대해 생각해 본 지난 글은 여기입니다.
외부 링크의 본문을 직접 확인할 수 없어 요청하신 구간을 번역해 드릴 수 없습니다. 번역이 필요한 짧은 분량의 원문을 직접 입력해 주시면 관련 기준에 따라 번역으로 도와드리겠습니다.
다음에는 AGI와 싱귤래리티가 도래한 뒤 인간은 더 이상 일할 필요가 없어지는 것인지, 돈과 기본소득, 의식주 보장이 어떻게 바뀌는지를 생각해 보고 싶다.
【참고자료】
국제 AI 안전 보고서『International AI Safety Report 2026』https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026
Grace 등, “AI의 미래에 대한 수천 명의 AI 저자”, Journal of Artificial Intelligence Research, https://arxiv.org/abs/2401.02843
Center for AI Safety「AI 멸종 위험에 대한 성명」https://safe.ai/
Anthropic “아첨부터 기만까지: 대규모 언어 모델의 보상 변조 연구” https://www.anthropic.com/research/reward-tampering
Anthropic “강화학습에서 정렬 위장에 대한 훈련 시점 완화 방안” https://alignment.anthropic.com/2025/alignment-faking-mitigations/
METR 『프론티어 AI 모델의 작업 완료 시간 지평』 https://metr.org/time-horizons/
OpenAI “업데이트된 대비 프레임워크” https://openai.com/index/updating-our-preparedness-framework/
Google DeepMind「프론티어 안전 프레임워크 소개」 https://deepmind.google/blog/introducing-the-frontier-safety-framework/
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 63청크
원문 보기 | 출처: note.com