솔직히 말씀드리면, 이 뉴스를 처음 읽었을 때 잠시 손이 멈췄습니다. “AI가 10년 이내에 인류를 멸망시킬 확률이 10%를 넘는다”는 주장은 AI에 반대하는 활동가이거나 SF 작가도 아닌, 실제로 AI를 만들어내는 회사의 안전성을 담당하는 책임자로부터 나온 것이기 때문입니다.
오늘은 이 이야기를 최대한 감정적으로 조장하지 않고, 과장하지 않고, “누가, 언제, 무엇을 말했다는 것”만을 정중하게 따라가 보고 싶습니다. 저 또한 AI를 매일 업무에 사용하는 사람으로서, 객관적인 시각으로 다루지 못한다는 점도 이유 중 하나입니다.
발단은 한 명의 젊은 연구자의 퇴사 선언이었습니다.
2026년 9월 8일, 제이콥 코크슨이라는 27세의 연구자가 Anthropic을 퇴사할 것을 발표했습니다. Anthropic은 제가 일상적으로 사용하는 Claude라는 AI를 만들고 있는 회사입니다.
콕슨 씨는 지난 3년간 AI의 ‘사전 학습’이라 불리는, 말하자면 AI의 토대를 만드는 과정에 참여해 온 사람으로, 원래는 OpenAI(ChatGPT의 회사)에 있었습니다. 올해 들어 AI에 대해 보다 신중한 자세를 취하고 있다고 보고 Anthropic으로 이직했다고 합니다. 즉 ‘안전성을 중시하는 회사를 골라 옮긴 사람’이 그 회사마저 그만두기로 했다는 흐름인 거죠.
그는 9월 8일에 X(구 트위터)에서 다음과 같이 게시했습니다.
오픈AI와 앤트로픽 모두 책임 있는 행동을 취하지 않고 있다. 자기 개선형 인공 초지능(ASI) 개발 경쟁에 몰두하며 인류의 운명을 건 위험한 도박을 하고 있다.
더욱이, 다음과 같은 내용도 적혀 있었습니다.
AI를 구축하고 있는 당사자들은 AI가 2030년대 말까지 인류를 멸망시킬 가능성을 진지하게 생각하고 있다. 이는 마케팅의 연출이 아니다. 많은 경영자 및 고위 연구진들이 보도용으로는 말을 신중하게 하지만, 비공식적으로는 같은 두려움을 표명하는 것을 나는 들었다. 다른 어떤 인간의 활동도 이와 같은 위험성은 가지고 있지 않다.
여기 인상적이었던 점은 코크손 씨가 Anthropic社 내부 상황에 대해 “위험의 심각성은 충분히 인지되고 있다”라고 언급하면서, 회사가 “초지능에 도달하기 위한 개발 경쟁”에 얽매여 있다는 점을 지적한 것입니다. 그의 말을 빌리자면 “다른 회사가 책임감 있는 행동을 하지 않기 때문에, 위험을 감수하고 스스로 해야만 하는 상황”이라는 것입니다. 누군가가 멈추는 것으로 문제가 해결되는 것이 아니라는 점이 곤란한 점일지도 모릅니다.
회사 측이 “그렇습니다”라고 인정했습니다.
평소라면 퇴사 시 이런 비판은 회사 측이 침묵하거나, 가볍게 부정하고 끝나는 경우가 많다고 생각합니다. 하지만 이번에는 달랐습니다.
앤서니(Anthropic)에서 안전성(Alignment Science)을 담당하는 책임자 에반 휴빙거(Evan Hughes)가 X(구 트위터)에서 코크슨(Kokosono) 씨의 주장에 동의했습니다.
제이콥이 말했듯이, 우리는 정말로 AI가 인류 전체를 멸망시킬 것이라고 진지하게 생각하고 있습니다. 개인적으로는 앞으로 10년 이내에 10%를 넘는 확률을 보는데, Anthropic은 최선을 다하고 있다고 생각하지만, 초지능에 대한 정렬(통제) 문제에 대한 해결책은 아직 없고, 명확하게 그 길로 나아가고 있다고 말하기는 어렵습니다.
제목에 나타난 “10%”는 여기서 유래했습니다.
다만, 이곳은 매우 중요한 부분이라 신중하게 작성하고 싶지만, 히ュー빙거 氏は同時に、현재 AI 모델이 인間に 반란을 일으키는 위험은 “낮다”고도 述べています。즉, 그가 말하는 것은 “지금 당신이 사용하고 있는 ChatGPT나 Claude가 위험하다”는 이야기가 아니라, “미래에 인간보다 현명한 초지능이 생겼을 때, 그것을 통제하는 방법이 아직 발견되지 않았다”는 장기적인 우려를 의미합니다. 이 “지금”과 “미래”의 구분을 飛ばしてしまうと、話가 완전히 다른 것으로 되어버리므로, 이곳은 강조하고 싶습니다.
또 한 명인 Anthropic의 확장 가능한 감독 분야 책임자 사뮤엘 마크스 역시 이렇게 게시물을 올렸습니다.
AI 개발 기업들은 자사의 기술이 인류 멸망 또는 이에 상응하는 파멸적인 결과를 초래할 수 있다고 생각하고 있으며, 이는 수년 이내에 발생할 수 있다는 우려가 일반적이다. 특히, 회사 경력이 오래되고 직책이 높은 임직일수록 이러한 우려가 크다.
또한 같은 시기에 OpenAI 측에서도 샘 알토만 CEO를 포함한 경영진이 “AI는 통제가 어려워지고 있으며, 무서운 단계에 접어들고 있다”는 취지의 발언을 하고 있었다고 Axios가 보도하고 있습니다. 한쪽 회사만의 이야기가 아니라는 분위기입니다.
매일 AI를 사용하는 저는 어떻게 받아들여야 할까요
이제부터 제 이야기가 시작됩니다.
저는 이 노트 기사를 AI와 함께 쓰고 있습니다. LINE 스탠드 제작이든 그림책 만들기가든 매일 Claude를 사용하는 것이 일상이고, 이제는 ‘사용하지 않는 날’이 기억나지 않을 정도입니다. 그 도구를 만드는 당사자 스스로가 “이는 인류를 멸망시킬 수 있다”고 진지하게 말하는 뉴스를 읽은 지 몇 시간 뒤, 저는 다시 Claude를 열어 이 문단 초안을 다듬고 있었습니다.
그 모순에 좋은 해결책을 찾지 못했습니다.
10%는 너무 낮다고 생각하는 나도 있고, “10년 동안 10%는 결코 작은 숫자가 아니다”라고 생각하는 나도 있습니다. 그들이 진심으로 간다고 생각하는 것과 ‘다른 회사들이 한다면 우리도 해야 한다’는 코크슨 씨의 논리도, 질투나 마음이 쓰이긴 하지만, 꽤 합리적으로 들립니다.
솔직히, 잘 모르겠습니다. 잘 모르고 오늘까지 계속 사용하고 있습니다.
단 한 가지 떠올리는 것은,こういう 이야기가 “AI를 만들고 있는 당사자로부터, 공개적으로” 나온 것 자체는 기록해 두는 가치가 있다는 점입니다. 몇 년 후에 되돌아봤을 때 “그때 그들이 제대로 말했었는데”가 될 것인지, “그때 너무 과장해서 떠들썩했었지”가 될 것인지, 지금의 저에게는 판단이 갈 것입니다.
그래서 이 글에서는 안심시키는 것일 수도 있고, 두려움을 느끼게 할 수도 없도록 하려고 했습니다. 당사자들이 실제로 무슨 말을 했는지 그대로 나열해 두겠습니다. 그걸 읽고 당신이 어떤 감정을 느끼는지는 아마 저와 같을 거예요. 당장 결정을 내리기 어려울 수도 있겠다는 생각이 듭니다. 참고로, 우하이(Uハイ)는 note 외에도 AI가 만든 캐릭터 ‘쿠타오’의 LINE 스티커나 그림책을 만들고 있으며, AI 부업의 현실적인 숫자를 공개하는 ‘AI 부업そろばん(AI 부업 계산기)’이라는 사이트도 운영하고 있습니다. 관심 있으시면 한 번 살펴보세요.
라인 스템프 작가 페이지는 이곳에 있습니다.
그림책 아마존 작가 페이지는 여기 있습니다.
AI 부업 주판은 여기를 참조하세요
또한, 결혼 예물이나 향념 등 인생의 마무리지을 때의 금액 수치를 알아볼 수 있는 ‘상바 노트’라는 사이트도 별도로 운영하고 있습니다. 궁금하시면 한번 살펴보시기 바랍니다.
상황 노트는 여기 있습니다: https://uuhai0625.github.io/life-event-calculators
좋은 다음 업데이트도 팔로우를 통해 기다려 주시면 감사하겠습니다. 매일 AI 뉴스와 뒤에 숨은 이야기들을 솔직하게 계속해서 작성해 나가겠습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 23청크
원문 보기 | 출처: note.com