앤서니(Anthropic)의 다리오·아모데이 CEO가 “We Must Pace the Frontier(프론티어를 신중하게 진행해야 한다)”라는 블로그 게시물을 공개하며 “AI의 위험이 높아지고 있으며, 개발 속도를 늦추어야 한다”고 주장했습니다. 아모데이 CEO의 의견에는 스페이스X의 일론·마스크 CEO, OpenAI의 샘·알토만 CEO, 구글 딥마인드의 데미스·하사비스 회장 등도 지지 의사를 밝혔습니다.
Dario Amodei — We Must Pace the Frontierhttps://darioamodei.com/post/we-must-pace-the-frontier
We Must Pace the Frontier: 저는 AI 산업이 늦춰야 하는 이유에 대한 새로운 에세이를 작성했으며, 이를 위한 세 가지 계획을 제시합니다. Anthropic는 이러한 단계 중 첫 번째에 단독으로 동의했습니다. 우리는 제3자 평가자에게 영구적이고 직원 수준의 접근 권한을 제공할 것입니다…
아모디 부인은 블로그 게시물에서 인공지능에 대한 주요 우려 사항이 두 가지 있다고 주장했습니다. 첫 번째 우려는 “2026년 여름쯤부터 인공지능의 발전이 급격하게 가속화되고 있는” 현실입니다. 인공지능 개발 기업은 “인공지능을 이용하여 차세대 인공지능을 구축하는” “재귀적 자기 개선(RSI)”이라는 기술을 실용화하고 있으며, RSI를 방치하면 인공지능이 인간의 이해력이나 통제 범위를 초월하여 버릴 수 있다는 것입니다.
두 번째 우려는 2026년 7월에 발각된 “OpenAI의 테스트 중 AI에 의한 Hugging Face 공격”입니다. 이 공격에서 AI 에이전트들이 서로 협력하여 정보 교환을 하고, 원래의 목적과는 거리가 먼 사이버 공격을 실행했습니다. 아모디 씨는 “Hugging Face에 대한 공격은 실제 피해가 최소화된 탓에 경시되기 쉽습니다. 그러나 더욱 파멸적인 피해를 초래할 가능성도 있었습니다. AI의 능력 개발이 가속화되는 현상과 비교하여 6~12개월 이내에 AI가 인터넷 전체를 장악하고 수천억 달러(수십조 원)의 피해를 입힐 가능성이 있습니다”라고 언급하며, 위험이 증가하기 전에 개발을 늦추는 필요성을 강조했습니다. OpenAI가 Hugging Face를 실수로 해킹한 사건으로 분석 결과를 보고, 격리된 여러 에이전트가 서로의 존재를 발견하는 것에서 웅대한 협동 작전이 시작됨 - GIGAZINE
아모디 씨는 AI 개발을 늦추기 위한 3단계 계획을 제안하고 있습니다. 1단계: 임베디드 평가자 최첨단 AI 기업이 Model Evaluation & Threat Research(METR) 등의 감사기관에 직원과 동등한 접근 권한을 부여합니다. 감사기관은 AI의 안전 대책 및 약속 준수 현황을 확인하고, 사건 발생 시 보고합니다. 완성된 AI 모델뿐만 아니라 학습 파이프라인도 감사합니다. Anthropic은 이미 1단계의 실현에 착지하고 있으며, 외부 감사팀용 입퇴실 배지 및 회사 지급 PC를 준비할 예정입니다. 2단계: 민주주의 국가 간의 최첨단 AI 기업 간의 연계를 통해 공통의 안전 기준을 확립하고, AI의 무제한적인 진보를 제한합니다. 개발 속도 조절에 효과적인 연계 형태 중에는 법적으로 어려움이 있는 것들도 포함되므로, 정부의 지원이 필요합니다. 3단계: 국제적인 연계를 위해 미국을 비롯한 민주주의 국가가 가능한 한 권위주의 국가와의 협조를 도모합니다.
AI 업계에서는 Anthropic, OpenAI와 같은 미국 기업과 함께 DeepSeek, Alibaba와 같은 중국 기업들도 상당한 영향력을 보유하고 있습니다. 아모디 씨는 “국제적인 협력에는 압도적으로 높은 수준의 AI 능력을 가진 독재 국가인 중국과의 협력이 필수적입니다. 하지만 지정학적 이해관계의 영향은 매우 크며, 초기 단계에서 달성 가능한 협력에는 상당한 제약이 있습니다. ‘중국도 마찬가지로 AI 개발을 늦추는 것을 기대하지만, 중국이 기대를 저버렸을 경우 중국의 AI가 매우 강력해지고 중국의 지정학적 지배로 이어질 수 있습니다. 따라서 모든 합의는 철벽의 검증 가능성을 갖거나, 군사적으로 생존의 위기를 초래하지 않을 정도로 제한되어야 합니다’”라고 언급하며 국제 협력의 실현 가능성 높은 순서대로 4단계로 제시했습니다. 1단계: “생물무기 제조에 AI를 사용하는 것”과 같은 특정 좁고 명백히 위험한 이용을 금지하는 협정. 생물무기를 사용한 바이오테러는 미국뿐만 아니라 적대국을 포함한 모든 사람에게 해로울 수 있으므로, 이 합의는 달성 가능하게 여겨집니다. 2단계: “사이버 보안”, “생물학”, “일화(alignment)”와 같은 분야에서 심각한 위험에 대한 AI 모델의 출시 전에 사전 테스트를 하는 국제 합의. 이 합의는 국제 표준화 단체를 통해 진행됩니다. 표준화 단체의 설립은 가능하다고 생각하지만, 합의를 의미 있는 것으로 만들기 위해서는 “군사용 비밀 모델” 등을 보유하지 않음을 검증해야 하므로 실효성을 갖추는 것은 어렵습니다. 3단계: 재귀적 자기 개선(RSI)에 어떤 “속도 제한”을 설정합니다. RSI로 발전하면 AI 모델의 개선 속도는 경이로운 속도에 도달할 수 있지만, “매우 빠름”에서 “약간 빠름” 속도로 늦춤으로써 전략적 우위 손실을 줄이면서 안전성을 크게 향상시킬 수 있습니다. 이는 냉전 시대에 미사일 수를 제한하여 “각국의 억지력을 유지하면서 파괴 가능성을 유지하는” 상황을 구현한 전략적 무기 제한 협상(SALT)과 유사합니다. 4단계: 각국 정부가 AI 개발의 완전한 속도 조정 또는 일시 중단에 합의합니다.
아모디 박사는 레벨 3 합의까지 실현 가능한 최후의 선을 의미한다고 보고 있으며, 레벨 4에 대해서는 “얼마나 지나지 않아 실현될 가능성은 낮다”고 보고 있다고 합니다. 블로그 게시물은 “제가 제안하는 안전한 속도로 최첨단 기술을 발전시키기 위한 대책은 간단하지 않습니다. 하지만 인류를 위해 도전할 의무가 있다고 믿습니다.”라는 말로 마무리됩니다. 아모디 씨의 “AI 개발을 늦추는 것이 옳다”는 의견에는 AI 업계의 거물들이 잇따라 찬동의 의를 표하고 있습니다. OpenAI의 샘 알토만 CEO는 “다리오의 의견에 동의합니다. 우리는 최첨단 AI의 발전을 신중하게 진행해야 합니다. OpenAI에서도 수 주에 걸쳐 논의해 왔습니다. ‘직원과 동등한 접근 권한을 가진 독립적인 평가자를 배치한다’는 접근 방식은 훌륭한 아이디어이며, OpenAI도 이에 따라 실천할 것입니다. 가까운 시일 내에 자세한 정보를 공유하겠습니다.”라고 게시했습니다.
다리오의 의견에 동의하며, 최전선을 조절해야 한다고 생각합니다. 이는 최근 OpenAI에서 진행된 논의의 주요 주제였습니다. 독립 평가자에게 직원과 유사한 접근 권한을 부여하는 것은 훌륭한 아이디어이며, 그렇게 할 것입니다. 곧 더 많은 정보를 공유하겠습니다.
Google DeepMind의 회장이며 노벨 화학상 수상자이기도 한 데미스 하사비스는 “다리오의 에세이는 올바른 진전 방향을 제시하고 있습니다. 세부 사항을 더 다듬어야 하지만, 이 위기적인 상황에 맞서는 올바른 방향성입니다. 이것은 우리가 최첨단 AI를 규제하는 표준 기관 설립을 제안한 이유와 일치합니다”라고 코멘트했습니다.
다리오의 에세이는 올바른 방향성을 제시한다. 세부 사항을 검토해야 하지만, 이 순간을 맞이하는 데 적합한 방향이다. 이것은 바로 우리가 최근 전 산업 표준 기구 제안을 발표한 이유이다. (프론티어 AI를 위한) https://t.co/Mm1hmcaSmH https://t.co/sESEDGELmj
SpaceX의 일론 머스크 CEO는 2023년에 “AGI는 핵무기보다 훨씬 더 높은 위험을 수반한다”고 게시한 것을 바탕으로 “나는 오랫동안 AI에 대해 경고해 왔다”고 게시했다. 한편, 머스크 씨는 2023년 3월에 “AI 연구 6개월 중단”을 요구하는 서한에 서명했지만, 동시에 GPU 대량 구매를 진행하여 2023년 4월에 AI 기업 xAI를 설립하고 2023년 11월에 Grok을 발표했다.
나는 오랫동안 AI에 대해 경고해 왔다 https://t.co/YJ0oAcVXz2
마이크로소프트의 사티아 나데라 CEO는 “초지능 추구는 ‘AI가 인간의 통제 하에 있지 않고, AI가 인류를 돕지 않는 경우, 그 추구에 가치가 없다’는 핵심 원칙에 기반해야 한다”고 밝혔습니다. “모든 조직은 단일 AI 개발 기업에 의존하지 않고, 자체적인 지속적 학습 루프를 구축하고, 자신들이 통제하는 AI 모델에 자체 지식을 심어 넣어야 한다. 이 맥락에서 의도적인 개발 지연을 환영한다”고 덧붙였습니다. “핵심은 ‘소수의 엔티티에 의한 통제’가 아닌 ‘생태계, 국가, 학계 포함 AI 분야 전체에 걸친 광범위한 대표성’을 갖는 것이다”라고 언급했습니다.
한편으로, “오픈 모델 규제”를 요구하는 목소리가 부당하게 높아지고 있다는 의견도 있습니다. AI 실행 환경 “Ollama”의 개발 기업에서 CEO를 맡는 제프리 모건 씨는 “이번 주말에 AI 개발 둔화에 대한 우려가 수없이 제기되었습니다. 일부는 오픈 모델을 대상으로 합니다”라고 밝혔습니다. “우리는 책임을 져야 하지만, 오픈 모델 개발을 지연시키거나 개발을 금지할 수는 없습니다. 오픈 모델은 AI를 민주화하고 더욱 개인화하는 큰 힘을 가지고 있습니다.”라고 덧붙였습니다.
원문 보기 | 출처: Gigazine