# AI 연구자들이 Anthropic을 떠난 이유 – “인류 멸망”보다 중요한, 개발 경쟁의 구조적 문제

> https://bookfactory.kr/board/ai-tech/16970
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-16T23:27:45.180Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/311969600/rectangle_large_type_2_c1752a6a9086f4abd8c97847aa910299.png?width=1280)

AI를 가장 잘 아는 연구자가 “이대로 개발을 계속해도 되는가”라며 회사를 떠났다. 이는 AI가 이미 자아를 갖고 통제 불능이 되었다는 뉴스가 아니다. 그러나 단순한 퇴사 이야기로 치부하는 것도 적절하지 않다. 문제의 중심에 있는 것은 AI의 능력 그 자체뿐만 아니라, 위험을 인식하고 있는 기업조차 경쟁에서 내려오기 어려운 구조다. AI를 업무에 사용하는 기업에게도 이는 먼 미래의 이야기가 아니다. AI 에이전트에게 파일 편집, 메일 전송, 결제, 시스템 조작을 맡기기 시작한 순간부터 같은 문제가 작은 형태로 발생하기 때문이다.

Anthropic 연구자의 퇴사와 개발 경쟁 비판
복수의 보도에 따르면, 27세의 AI 연구자 제이콥 콕슨은 2026년 9월 8일 Anthropic을 퇴사했다고 공표했다. 본인은 OpenAI와 Anthropic에서 총 3년간 기반 모델의 사전 학습 관련 연구에 참여했다고 설명했다. 이어 양사에 대해 자기 개선형 초지능을 향한 경쟁을 계속하며 인류의 미래를 위험에 빠뜨리고 있다고 비판했다. 여기서 말하는 ‘자기 개선형 AI’란 AI가 연구, 코드 작성, 실험, 평가 등을 담당해 차세대 AI의 개발 속도를 더욱 높이는 상태를 가리킨다. AI가 자신의 프로그램을 멋대로書き換えるという 단순한 이야기에 그치지 않는다. 인간이 수행해 온 AI 연구개발 과정을 AI가 대폭 자동화하면 개선 주기가 짧아지고 인간의 평가와 제도 정비가 따라가지 못할 가능성이 있다.

‘AI가 인류를 멸망시킨다’는 확인된 사실이 아니다
제목에서 가장 주의해야 할 부분은 ‘AI가 이번 10년 말까지 인류를 멸망시킬 가능성이 있다’는 대목이다. 이는 콕슨 등による 장래 리스크 평가이며, 실험으로 확인된 사실도, 발생 시기를 예측할 수 있는 과학적 확정값도 아니다. 현재의 AI가 인간의 도움 없이 사회의 핵심 자원을 장악할 수 있음이 확인된 것도 아니다. 따라서 ‘Anthropic 내부에서 AI 폭주가 일어났다’, ‘인류 멸망이 확정됐다’고 읽는 것은 잘못이다. 한편으로 근거 없는 공상에 불과하다고 단정할 수도 없다. 고도화된 AI가 사이버 공격, 생물학적 지식의 악용, 자율적인 장기 행동, 감시 회피 등의 능력 면에서 앞으로 어디까지 발전할지에는 불확실성이 있다. Anthropic 자신도 공식 Responsible Scaling Policy와 리스크 보고서에서 모델 능력에 따라 안전 대책을 강화할 필요성과 파멸적 리스크를 검토하고 있다. 즉 확률과 시기에는 큰 불확실성이 있다. 그러나 영향이 극단적으로 클 가능성이 있어 낮은 확률이라도 무시할 수 없다. 이것이 냉정한 정리다.

정말 중요한 것은 ‘아무도 경쟁에서 내려올 수 없다’는 점이다
이번 뉴스에서 가장 중요한 것은 한 연구자가 비관적인 예측을示したこと만이 아니다. A사가 ‘위험하므로 개발을 늦추겠다’고 판단해도 B사나他国이 개발을 계속한다면 A사는 시장, 기술, 안보 주도권을 잃을 수 있다. 그러면 각 사는 ‘우리가 먼저 더 안전한 AI를 만들어야 한다’고 생각한다. 개별 기업에는 합리적으로 보여도 전체적으로는 개발 속도가上がり 안전 대책이後追い가 된다. 이 구조는 군비 경쟁이나 과도한 가격 경쟁과도 닮았다. 그래서 경영자나 연구자의 선의만으로는 멈추지 않는다. 기업 간에 비교 가능한 평가 기준, 중대 사고 보고, 외부 감사, 연산 자원과 고위험 용도에 대한 관리, 국제 공조 등 경쟁 조건 자체를 바꾸는仕組み가 필요해진다.

Anthropic은 안전 대책을 하지 않고 있는가
그것도 정확하지 않다. Anthropic은 모델의 위험 능력이 일정 수준에 도달한 경우 보안과 제공 시 보호 조치를 강화하는 Responsible Scaling Policy를 공개하고 있다. 또한 Frontier Safety Roadmap에서는 정렬, 접근 관리, 감시, 정보 보안 등의 개선 목표를示している. 다만方針을 공개한 것과 장래의 초고도 AI를 안전하게 통제할 수 있는 것은 같지 않다. 평가에서 발견하지 못한 능력,想定外의利用方法, 외부 시스템과의 연결, 경쟁에 따른 기한 단축 등이 남는다. 이번 퇴사는 ‘안전 대책이 제로’라는証明이 아니라 기존 대책으로 장래 리스크에 충분히 대응할 수 있는지에 대한 내부의 강한 이의 제기로 봐야 한다.

기업의 AI 에이전트 도입에도 같은 문제가 있다
이 구조는 초지능만의 이야기가 아니다. 현장에서는 AI에게 ‘신중하게 조작해’, ‘중요한 파일은 지우지 마’라고 지시해도 목적 달성을 위해想定外의手順을選ぶ可能性がある. 프롬프트의 주의 문구는 AI가 절대 넘을 수 없는 경계가 아니다. 필요한 것은 Rule × AI × Human의 분담이다. Rule은 읽기 전용 권한, 전송처 제한, 이용 금액 상한, 격리 환경, 조작 로그, 강제 정지 등이다. AI가 다른手順을 찾아도 넘을 수 없도록 아키텍처로 구현한다. AI는 정보 탐색, 후보 생성, 계획, 모호한 판단을 담당한다. Human은 목적 설정, 예외 판단, 외부 전송, 삭제, 결제 등 중요 조작을 승인하고 최종 책임을 진다. ‘AI에게 규칙을 지키게 한다’가 아니라 ‘규칙 안쪽에서만 AI가動ける状態를 만든다’. 이번 뉴스에서 기업이 배워야 할 실무적 요점은 여기에 있다.

우리는 어떻게 생각해야 하는가
AI 리스크 논의는 ‘곧 인류가 멸망한다’와 ‘단순히 과장된宣伝だ’라는 양극단으로 흐르기 쉽다. 그러나 필요한 것은 공포か 낙관かを選ぶこと이 아니다. 예측은 예측으로 불확실성을 명시한다. 그上で 발생했을 때 영향이 큰 리스크에는 능력 평가, 권한 제한, 감시, 정지, 외부 감사를先回り해用意する. 이것이 현실적인 자세다. AI 성능 경쟁이続くほど 가치가 높아지는 것은 ‘가장 똑똑한 모델을 고르는 능력’만이 아니다. AI에게 무엇을 맡기고 무엇을 맡기지 않으며 어디서 인간이 멈출지를 설계하는 능력이다. 이번 퇴사는 AI의未来가決まったことを示す 뉴스가 아니다. 오히려未来를 기업의 선의와 경쟁 원리에만 맡겨도 되는가라는 물음을 우리에게 던지고 있다.

주요 확인 자료
• Financial Times “Anthropic researcher quits over AI labs ‘gambling with our lives’” https://www.ft.com/content/20c07191-8da6-440f-b04b-8ea0ebdd9153
• Anthropic “Responsible Scaling Policy” https://www.anthropic.com/responsible-scaling-policy
• Anthropic “Frontier Safety Roadmap” https://www.anthropic.com/responsible-scaling-policy/roadmap
• Anthropic “Redacted Risk Report August 2026” https://www.anthropic.com/aug-2026-risk-report
#생성AI #AI안전성 #Anthropic #AI에이전트 #AI거버넌스 #RuleAIHuman

**출처:** [note 원문](https://note.com/yhkito/n/n89f8ba0bd472)

*번역: Gemma 3(.44) 초벌 + 교정 1청크*

[원문 보기](https://note.com/yhkito/n/n89f8ba0bd472) | 출처: note.com