AI 기업 Anthropic의 AI 안전 팀을 이끄는 책임자가 인간의 손을 빌리지 않고 성능을 계속 향상시킬 수 있는 '자기 개선형 AI'에 대해 "예상보다 빠른 속도로 진행되고 있다"고 경고했습니다.
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.https://t.co/QAIHiFP3QZ
Worried Anthropic researchers warn that AI ‘could kill all humans’ | The Vergehttps://www.theverge.com/ai-artificial-intelligence/991927/anthropic-ai-kill-all-humansAnthropic에서 AI 시스템 훈련을 담당했던 연구원 제이콥 콕슨 씨는 2026년 9월 9일, Anthropic의 허술한 안전 대책을 이유로 사임했음을 발표했습니다. 콕슨 씨에 따르면, OpenAI와 Anthropic 양쪽 모두에서 사전 훈련 연구를 수행해 왔지만, 두 회사 모두 자기 개선형 AI를 향해 전속력으로 질주하고 있으며 책임감 있게 행동하지 않고 있다고 합니다.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
콕슨 씨는 이어 "이 기술의 힘을 과소평가하지 마십시오. 이들은 머지않아 무엇이든 해킹하고, 어떤 분야든 하룻밤 사이에 혁명화하며, 진정한 힘과 자원을 손에 넣는 초인적인 시스템이 될 것입니다", "AI를 구축하고 있는 사람들은 그것이 향후 10년 이내에 우리 모두를 죽일 가능성이 있다고 진심으로 믿고 있습니다. 많은 임원과 수석 연구원들은 보도 매체에서는 신중한 표현을 사용하지만, 사석에서는 동일한 인물들이 공포를 입에 담는 것을 듣곤 합니다. 그 어떤 인간의 활동도 이 정도 수준의 위험을 가져오지 않습니다"라며, AI의 급속한 발전에 따른 위험성에 대해 언급하고 있습니다.
콕슨 씨의 게시물에 대해 Anthropic의 AI 안전 팀을 이끄는 에반 휴빈저 씨는 "제이콥의 게시물은 올바르며, 우리는 정말 진심으로 AI가 전 인류를 죽일 가능성이 있다고 믿고 있습니다. 개인적으로는 향후 10년 이내에 그 확률이 10%를 넘을 것이라고 생각합니다"라고 밝혔습니다. 휴빈저 씨에 따르면, Anthropic의 리스크 리포트에 근거할 때 현행 모델로 인해 인류의 파멸을 초래할 리스크는 낮다고 생각된다고 합니다. 한편, 재귀적 자기 개선에서 비롯되는 초지능에 대해서는 우려하고 있으며, 기존에 예상했던 것보다 빠른 속도로 그 방향으로 진행되고 있다고 합니다.
To be clear, as we say in our latest Risk Report (https://t.co/9PDj8Uvoty), I think the risk from present models is low. What I am worried about is superintelligence arising from recursive self-improvement, as we have said is happening faster than we thought…
The Verge는 "이번 콕슨 씨와 휴빈저 씨의 주고받은 대화는, 고도화되는 AI 모델의 위험성과 특히 기업이 IPO를 앞두고 있는 가운데 시스템 개발이 급속히 진행되고 있는 것에 대한 업계 내 우려의 고조를 부각하고 있습니다"라고 지적하고 있습니다.
원문 보기 | 출처: Gigazine