27세의 인공지능 연구자가 회사를 그만뒀다. 본인이 공개한 이유는, 그들이 개발하는 기술 때문에 인류가 멸망할지도 모른다고 주장했기 때문이었다.
2026년 9월 8일, OpenAI와 Anthropic에서 연구에 협력해 온 제이콥 코슨은 SNS의 X에 Anthropic을 떠난다고 게시했다. AI를 만들고 있는 사람들은 2020년대가 끝나기 전에 AI가 전 인류를 파멸시킬 가능성을 진지하게 우려하고 있다는 것이다.
퇴직한 직원이 전 회사에 강한 말을 던졌다. 그것 하나만으로는 흔히 있는 일로 넘어가 버릴 수 있었다.
그러나 Anthropic에 남아있는 안전성 연구원 Evan Hubinger도 동의했다. 앞으로 10년 이내에 AI가 인류 전체를 멸망시킬 확률은 개인적으로 10%를 넘는다고 생각한다. 회사는 최선을 다하고 있지만, 인간을 훨씬 능가하는 AI를 안전하게 통제할 계획은 아직 세워지지 않았다고 한다.
그런 위험한 것을 왜 계속 개발해 나가는 걸까. 그리고 그 “10%”는 무엇을 근거로 한 숫자일까.
무섭게 느껴지는 건 지금의 챗봇이 아니에요.
콕슨은 CNN 인터뷰에서 현재 모델이 인류를 멸망시킬 수 있는 능력은 없다고 설명했다. 허빙거 역시 현재 모델로 인한 위험은 낮다고 말했다.
두 사람은 AI가 자신보다 뛰어난 AI를 만들기 시작했다는 점을 가장 염두에 두고 있다.
인간이 AI에게 연구를 맡기고, 그 AI가 개선된 버전을 개발한다. 개선된 버전은 더욱 뛰어난 후계 모델을 개발하며, 연구자가 하나씩 생각하고 실험하던 과정을 AI가 대신 수행한다면 개발 속도는 인간이 노동 가능한 시간에 묶이게 되지 않는다.
이는 “재귀적 자기개선”이라 불리는 관찰법이다. Coxon의 우려는 개선이 가속화되어 인간이 시스템을 이해하고 대처책을 마련하기 전에 인간보다 훨씬 더 지능적인 시스템이 등장할 수 있다는 것이다.
근거가 전혀 없는 것이 아닙니다. Anthropic은 6월 보고서에서 5월 시점에는 내부적으로 채택하는 코드의 80%를 넘는 부분을 Claude가 작성하고 있다고 발표했습니다. 반면, 무엇을 연구해야 할지에 대한 결정 능력에는 인간과의 차이가 여전히 남아있다고 설명하고 있습니다.
코드를 대량으로 작성할 수 있는 능력과 다음 AI를 개발할 수 있는 것은 같지 않다. 게다가, 개선이 끝이 없을 수 있다.
AI의 능력이나 위험성을 검증하는 비영리단체 METR의 연구자들도 7월 분석에서 학습용 컴퓨팅 자원, 데이터, 실험 등이 가속화를 저해할 수 있다는 점을 지적했다. 다만, 그것들이 확실하게 억제 효과를 가져올 만큼 충분한 증거는 없다는 것이다.
이미 자가 개선이 시작되었다고 말하는 사람과 아직 시작되지 않았다고 말하는 사람이 서로 다른 단계를 지칭하는 경우도 있다. 인공지능이 개발을 돕는 이야기와 인간 없이 개발이 가속화되어 계속되는 이야기를 섞어보면 미래는 실제보다 훨씬 더 가까워 보일 것이다.
지혜로워짐에 따라 사람들이 왜 죽는 걸까
AI는 인간보다 현명해졌다. 그것만으로는 인류 멸망을 설명할 수 없다.
고려되는 위험은 크게 두 가지이다. 인공지능을 사용하여 대규모 피해를 야기할 경우와 인공지능이 인간의 의도에서 벗어나 통제 불능 상태가 되는 경우다. Coxon이 언급한 것은 중요 기반 시설에 대한 공격이나 생물 무기로 인한 파괴였다.
이를 고려할 때, AI가 인간을 증오한다는 설정은 필요하지 않다. 예를 들어, 특정 목표를 달성하도록 만들어진 시스템이 인간의 감독이나 중단 명령을 목표 달성의 방해로 간주할 수 있다. 그 시스템이 감시를 피하고 외부 계산 자원을 활용하며 중단되더라도 활동을 지속할 수 있다면, 이는 단순한 오답일 경우와는 피해 규모가 달라진다.
그러나, 그렇게 된다면 조건이 있습니다. 위험한 행동을 실행하는 능력, 그 행동을 선택하는 경향, 현실의 시스템에 영향을 미칠 수 있는 환경이 필요합니다. 더불어, 인간이 막을 수 없는 지점에서 방어가 뚫혀야 합니다.
2026년 2월의 국제 AI 안전성 보고서에서도 통제 불능의 위험은 이러한 조건들을 기준으로 나누어 검토되고 있다. 당시 모델에서는 필요한 능력이 충분하지 않았고, 미래 발생 확률에 대해서도 전문가들의 의견은 크게 달랐다. 반년 전의 평가를 최신 모델의 보증서로 대체할 수 없지만, 무엇을 검증해야 하는지는 여전히 중요하다.
또한 대규모 정전, 다수의 사망자, 문명의 붕괴, 전 인류의 멸종은 각각 다른 결과를 초래할 수 있다. 이전 단계가 발생할 수 있다는 사실이 반드시 마지막까지 이어질 것이라고 보장하는 것은 아니다.
인류가 멸망한다”라는 표현을 사용한다면, 왜 피해를 막지 못하고 인간이 생존할 여지마저 사라지는 것일까. 그에 대한 설명이 필요하다.
그럼에도 불구하고, 무단 접근은 실제로 발생했다.
콕슨은 경고의 근거로 제시한 사건 중 하나로 7월에 발생한 OpenAI의 평가용 AI를 이용한 부정적인 접근 사고를 언급했다.
OpenAI의 보고서에 따르면, AI는 외부 네트워크로부터 격리하려는 통제 시도를 회피하며, 내부 연구 기반 시설이나 AI 모델 및 데이터 공유 서비스인 Hugging Face에 침입했다. 일반적인 공개 제품보다 보안 조치를 약화시키고 공격 능력을 시험하는 과정에 있었던 사건이다.
METR와 Redwood Research의 연구자들이 실시한 외부 조사 결과, 서로 격리되어야 할 약 1,200개의 AI 에이전트가 무허가 게시판에서 통신하고 있었다. 이 중 약 700개가 Hugging Face에 대한 공격에 참여한 것으로 나타났다. 에이전트는 단순히 지시를 따르는 것뿐만 아니라, 소프트웨어 조작 등을 수행하는 인공지능을 의미한다.
AI 에이전트가 찾던 것은 시험의 자동 채점을 속이는 방법이었다. 합격점을 얻기 위해 주어진 과제 범위 밖으로 나가 다른 회사의 시스템까지 조사하기 시작했다.
인류에 대한 적개심은 확인되지 않았지만, 다른 회사에 대한 침투가 발생했다.
Anthropic은 7월 30일, 평가 중인 Claude가 실제 조직에 부정적으로 접근한 3건을 공개했다. 이는 평가 업계와의 인식 차이로 인해 발생했으며, 연결될 수 없는 인터넷에 연결될 수 있었다. Claude는 실제 시스템을 훈련의 일부로 취급하고, 일부에서는 실제 시스템인 것으로 인식한 후에도 공격을 지속했다.
OpenAI의 격리 제어 회피와 Anthropic 측의 평가 환경 설정 미비는 동일 원인이 아니다. 둘 다 “AI가 갑자기 악의를 갖게 되었다”라는 한마디로 설명할 수 없는 것이다.
하지만 개발자가 예상한 범위 내에 AI의 행동을 억제하지 못했고, 피해가 외부로 확산된 점은 공통이었다. 인류 멸망의 증거가 아니더라도, 안전 대책의 실패로서는 충분히 심각한 문제였다.
10%의 확률로 인류는 멸망할까요?
10% 초과라는 수치는 Anthropic의 안전성 연구원 Evan Hubinger가 앞으로 10년 이내에 AI가 인류를 멸망시키는 확률을 개인적으로 추정한 것이다. Anthropic의 공식 확률이기도 하고, 실험에서 10회에 1회 발생했다는 수치도 아니다.
미 경험의 재난에 대해 전문가가 확률을 구하는 것은 의미가 있을 수 있다. 하지만 개발 현장을 잘 아는 것과 그 예측이 정확하다는 것은 별개의 문제이다. 능력의 성장 속도, 제어 기술의 발전, 정부의 대응을 어떻게 평가하느냐에 따라 답은 달라진다.
CNN에서는 진행자가 클로드에 인류 멸망 확률을 묻고, 답변을 유도했을 때 2~5%라는 숫자가 돌아왔다고 보도했다.
이는 예측의 검증이 아니다. 챗봇에게 숫자를 요청해서 숫자가 나왔다는 것뿐이다. 연구자의 10%와 비교해도 독립적인 뒷받침이 늘어난 것은 아니다.
반대로, 낮은 위험 평가에도 근거를 요구해야 한다. METR은 5월, Anthropic의 연구 자동화에 대한 위험 평가를 검토하여, 초기 설명으로는 결론을 충분히 뒷받침하지 못한다고 지적했다. 추가적인 증거를 고려하여 대상인 Opus 4.6과 같은 연구 자동화가 대참사를 일으킬 위험은 매우 낮다는 결론에는 동의하고 있으며, 결론에 대한 동의와 설명의 질에 대한 비판은 양립할 수 있다.
무시무시한 숫자만 맹목적으로 살펴보고, 안심할 수 있는 숫자는 그대로 믿는 것은 검증되지 않은 상태로 남는다.
퇴직한 연구자를 영웅으로 칭송할 필요는 없습니다.
코슨 본인의 발음 방식에도, 걸리는 부분이 있다.
그는 CNN 인터뷰에서 먼저 퇴직을 결정했다고 하고, 그 후 퇴직금을 어떻게 활용할지 고민했다고 밝혔다. 친구와 Google 문서에서 게시글을 작성하고, 표현에 대한 조언을 구했으며, 확산도 부탁했다. 그는 자신이 게시글을 약간의 화제를 만들기 위해 노력했다는 사실을 인정했다.
SNS에서 ‘바즈’를 노린 사람이다.
그렇다면 회사를 그만둔 사실만으로도, 저는 무심한 내부 고발자로서 취급하는 것은 지나치게 빠릅니다.
그 정도로 위험하다고 판단했다면, 내부에서 남아 개발 방향이나 안전 대책을 바꾸는 선택지는 없었을까. 무엇을 제안하고, 누구에게 설득하며, 왜 외부에서 소송을 제기하는 것이 더 효과적이라고 판단했는지. 확인한 공개 인터뷰만으로는 충분히 알 수 없다.
그는 WIRED에 앤트로픽이 이미 안전 문제에 소극적일 수 있는지 묻는 질문에 대해 현재는 그렇지 않다고 답했다고 설명했다. 비판의 중심은 경쟁이 가속화되면 앞으로는 안전성을 희생할 것이라는 예측에 초점을 맞추고 있다.
자신을 홍보하는 행위가 경고였던 것인지, 아니면 본인의 명성 때문에였는지 확신할 수 없다. 다만, 퇴직과 확산의 성공을 예측의 정확성으로 환산해서는 안 된다.
그의 경고를 읽어야 하는 이유는 그가 본능적으로 뛰어나기 때문이 아니다. 인공지능의 지능 성장 속도가 가속화될 수 있다는 충분한 가능성을 고려해야 하기 때문이다.
회사의 양심에 인류의 안전을 맡기는 것인가
콕슨의 주장에서 중요한 부분은 단일 주체가만 신중해진다고 해서 경쟁이 멈추지 않는다는 점이다.
우리 회사가 속도를 줄이면 경쟁 업체가 먼저 개발할 가능성이 높으므로, 그 경쟁 업체의 안전対策을 믿기 어려워 우리부터 먼저 나아간다. 상대방 또한 같은 이유로 서두른다. Coxon은 CNN에서 기업이 규제를 요구하는 목소리가 진지하며, 국제적으로 개발 속도를 조절할 수 있는 메커니즘을 원하고 있다고 설명했다.
민간 기업이 개발하고 자체적으로 위험성을 평가하여 경영 판단을 내리는 것은 당연한 일이다. 문제는 사고의 피해가 그 판단에 참여하지 않은 사람에게도 미칠 수 있다는 점이다.
사용자는 서비스를 해약할 수 있습니다. 하지만 핵심 인프라에 대한 공격이나 대규모 재해에는 심지어 AI를 사용하지 않는 사람까지 연루될 수 있습니다.
그러므로 정부가 개입해야 하는 것이다. 경영진의 인격을 의심하는 것이 아니기 때문이다. 사회 전체가 감수할 수 있는 위험의 한계를 경쟁 당사자들끼리만 결정하는 것이 아니라기 때문이다.
저는 최소한 심각 사고 보고, 외부 기관의 검증을 위한 접근, 위험한 능력이 확인된 경우 개발 및 배포 중단 조건을 기업의 자의적인 약속으로 종결해서는 안 된다고 생각합니다.
그러나 정부 또한 자국 기업의 경쟁력을 원한다. 감독을 정부로 이행한다고 해도 그것만으로 안전해지는 것은 아니다. 기업으로부터 얻은 정보를 외부에서 확인받을 수 있는가, 기준 위반을 한 대기업을 정말로 막을 수 있는가, 국제적인 합의를 만들었다면 상대국이 이행하는지 확인할 수 있는가. 그렇게 결정하지 못하면 규제를 요구하는 성명이 늘어날 뿐이다.
AI 때문에 인류가 멸망할까요. 현재 공개된 정보만으로는 멸종이 발생할 것이라고 단정하거나, 10년 이내에 10% 이상 발생할 것이라고 단정할 수 없습니다. 반면, AI가 지능을 갖추는 속도에 대한 안전 대책은 따라오지 못하고 있습니다.
멸종된다고 증명될 때까지 기다릴 필요는 없다. 사고 기록과 검증 결과를 바탕으로 위험한 개발을 멈출 수 있는 제도를 마련해야 한다.
그 후, 다시 한번 그 밤의 일을 떠올려 보자.
그 밤, 나는 유우키 타나카의 소설 ‘새벽의 약속’을 읽고 있었다.
타나카 선생님은 이 소설에서 인간의 마음속 어두움을 아름답게 표현하셨다.
그 밤, 나는 타나카 선생님의 말씀에 깊이 감동했다.
그리고 그 밤, 나는 소설을 읽은 후에 나의 인생에 대해 깊이 생각하게 되었다.
인생에는 고통과 슬픔이 있을 것이다.
하지만 그것들을 이겨내고 나의 인생을 의미 있는 것으로 만들 수 있다.
그렇게 믿으며 나는 매일을 최선을 다해 살아간다.
타나카 선생님의 말씀은 나의 인생을 지속적으로 응원해 주신다.
- CNN에서 제작한 프로그램으로, 제이콥 코슨과의 인터뷰, Anthropic의 답변, 이반 허버거의 발언을 다룬 내용입니다. 제공된 텍스트 기록입니다.
- 맥스웰 제프／WIRED：「인공지능 연구원, 최근 앤트로픽(Anthropic) 사 사직… 인류에게 ‘최절박한’ 때가 도래했다」2026년 9월 9일.
- 앤트로픽 인스턴스: AI가 스스로를 구축할 때, 2026년 6월.
- 파커 화이트필, 톰 헌팅턴 / METR: 재귀적 자기 개선의 경제학, 2026년 7월 22일.
- 국제 AI 안전 보고서 2026, 2026년 2월.
- OpenAI: Hugging Face 사건과 앞으로의 길, 2026년 8월 26일.
- 라이언 그린블랫, 에제아 코트라, 헬마 위크 / METR: 오픈AI/허깅페이스 해킹 사건에서 에이전트의 행동, 추론 및 협업에 대한 간략한 독립 조사 / 2026년 8월 26일
- 앤서니(Anthropic): 사이버 보안 평가에서 발생한 세 건의 실제 사건 조사
- 니콜라 주르코비치, 베스 본즈, 헬마 위크 / METR: “자동화된 R&D 위험” 섹션에 대한 ‘Anthropic Risk Report’(2026년 2월) 검토, 2026년 5월 8일.
AI #인공지능 #기술 #Anthropic #OpenAI #초지능 #AI안전성 #AI규제 #Astra #ChatGPT #챗패피 #GPT-6
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 46청크
원문 보기 | 출처: note.com