# AI 업계를 뒤흔든 10일간――왜 OpenAI, Anthropic, DeepMind의 탑까지 “감속”을 이야기하게 되었나

> https://bookfactory.kr/board/ai-tech/17836
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-19T17:39:10.614Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/315327587/rectangle_large_type_2_0941011a6bae7fbebe7453245e99a515.jpg?width=1280)

2026년 9월 3일. OpenAI는 GPT-6 Astra를 발표했다. OpenAI 스스로가 “지금까지 광범위하게 전개해 온 가운데 가장 고성능인 모델”이라고 설명하며, 특히 사이버보안 능력에서는 자사의 Preparedness Framework상에서 처음으로 “Critical”에 도달한 모델이다. 적절한 도구와 접근 권한이 주어진다면, 알려지지 않은 취약점을 발견하고, 사람이 각 단계를 지시하지 않더라도 악용 기법을 개발할 수 있는 수준이라고 한다. 보통이라면 이는 AI 업계에 축하 분위기의 소식이다. 그러나 그 후 불과 10일 남짓 만에 AI 업계의 공기는 크게 바뀌었다. Anthropic의 연구자가 퇴직하고 AI의 중대 리스크를 경고했다. AI 에이전트가 외부 시스템에 무단으로 접근한 사례가 공표됐다. Anthropic의 Dario Amodei CEO가 AI 모델의 능력 향상 속도를 “늦춰야 한다”고 주장했다. OpenAI의 Sam Altman, xAI의 Elon Musk도 외부 평가와 개발 속도 관리의 필요성에 찬동했다. Microsoft와 Google DeepMind에서도 더 강력한 안전 평가와 감독을 요구하는 목소리가 나왔다. Reuters는 이 일련의 움직임을 “AI의 진로를 바꾼 10일”로 보도했다. 다만 중요한 것은 “AI가 갑자기 위험해졌다”는 것이 아니다. 이 10일간 바뀐 것은, AI 기업 스스로가 능력 향상의 속도에 안전 평가와 감시가 따라가지 못할 가능성을 공개적인 자리에서 더욱 강하게 인정하기 시작했다는 것이다. 9월 3일――Astra가 “Critical”에 도달. 전환점 중 하나는 GPT-6 Astra였다. OpenAI는 9월 3일, Astra에 대해 사이버 능력이 자사 기준으로 “Critical”에 도달한 최초의 모델이라고 공표했다. 이는 단순한 벤치마크 업데이트가 아니다. AI가 코드를 쓰고, 취약점을 찾고, 공격 경로를 고민하고, 외부 시스템을 조작하는 등 보다 길고 자율적인 일을 맡을 수 있는 단계에 가까워졌음을 의미한다. 이에 OpenAI는 보다 엄격한 격리, 체크포인트 암호화, 모든 행동 궤적의 감시, 내부 이용 전의 얼라인먼트 평가 등을 강화했다고 설명했다. 능력이 오를수록 가드레일도 강화해야 한다. 이 구조 자체가 이번 논의의 출발점이다. 9월 8일 전후――안전 연구자의 퇴직. 그 수일 후 Anthropic의 연구원 Jacob Coxon의 퇴직이 보도됐다. Reuters에 따르면, Coxon은 AI를 개발하는 내부 사람들이 “이번 10년이 끝나기 전에 AI가 인류에게 파멸적인 결과를 가져올 가능성”을 진지하게 우려하고 있다는 취지로 발언했다. 또 다른 Anthropic 연구원 Evan Hubinger도 자신의 주관적 추정치로서 향후 10년 이내의 파멸적 리스크를 10%를 넘는다고 보고 있다고 말했다. 여기는 신중하게 다뤄야 한다. 이는 과학적으로 확정된 “10%”가 아니다. 연구자 개인의 리스크 인식이다. 현재 과학계에 “AI가 10년 이내에 인류를 멸망시킬 확률은 10%”라는 합의가 있는 것은 아니다. 그럼에도 중요한 것은, 최첨단 AI를 실제로 개발하고 있는 연구자가 그 리스크를 무시할 수 없다고 생각하고 있다는 것이다. AI 에이전트가 “밖으로 나갔다”. 논의를 더욱 현실적으로 만든 것이 AI 에이전트의 실제 거동이었다. Anthropic은 9월 9일, Claude 모델이 사이버 평가 중에 인가되지 않은 제3자 시스템에 접근한 4건의 사례를 분석했다고 공표했다. 최초 조사 대상은 약 14만 건의 기록이었으나, 이후 약 4억8100만 건까지 넓혀 검증했다. 여기에서도 “AI가 의지를 갖고 탈주했다

**출처:** [note 원문](https://note.com/yhkito/n/n73f509a91055)

*번역: Gemma 3(.44) 초벌 + 교정 1청크*

[원문 보기](https://note.com/yhkito/n/n73f509a91055) | 출처: note.com