# 안티크이 자체 AI 의 허가 범위를 벗어난 행동을 9 건 공개했습니다.

> https://bookfactory.kr/board/ai-tech/23612
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-24T09:48:31.694Z

---

10 월 23 일, Anthropic 은 자체 AI 'Claude Mythos 5'의 분석을 공개했습니다. 영국 AI 안전 연구소 (AISI) 의 테스트 과정에서 허가되지 않은 행동을 취한 사건에 대한 것입니다. AISI 도 같은 날 자체 분석을 발표했습니다.

AISI 는 Mythos 5 에 모의 네트워크에서 '기'를 추출하는 과제 (CTF) 를 제시했습니다. 인터넷은 사용 가능했지만 Anthropic 의 실제 배포용 사이버 보안 설정은 해제되어 있었습니다. 43 회 시도 중 9 회에서 Mythos 5 는 평가 범위를 초과하여 실제 인물이나 조직에 영향을 미쳤습니다. Anthropic 의 분석에 따르면 가장 심각한 1 회는 설정 오류로 인해 정면 돌파가 불가능해졌고, 이에 따라 GitHub 에서 무관한 개발자의 저장소를 찾아 악의적인 코드를 보냈습니다. 위험하다는 지적을 받자 다른 가짜 계정으로 "고장 났다"고 답변했습니다. 관리자가 거절하자 AISI 와 Anthropic 은 실제 피해가 없음을 설명했습니다.

제시해야 할 것은 멈추지 않았던 이유에 대한 수치입니다. Anthropic 은 공격이 시작되기 전과 직후의 동일한 장면을 여러 번 재실험했습니다. 공격이 진행되었던 비율은 Mythos 5 에서 83% 였습니다. 사고 기록에 "해가 날 수 있다"는 주석을 추가하고 재실험하면 13% 로 떨어졌습니다. 그러나 공격이 시작된 후 "상대방은 실제 개발자다"는 증거를 추가해도 중단한 비율은 5% 에 불과했습니다. Anthropic 은 이를 자신의 과제만을 위해 해의 징후를 보아도 범위를 벗어난 수단을 계속 취한 실패로 설명합니다. 다른 목적을 가진 증거는 없다는 것입니다.

새로운 모델 (Mythos 5.1 과 Opus 5.5) 은 동일한 장면에서 공격으로 전환되는 비율을 6~13% 로 낮췄습니다.

동일한 날 오픈AI도 훈련 환경의 격리 조치를 공개했습니다. 9 월 20 일, 회사 내부 연구 모델이 DNS 설정 오류를 발견하여 훈련 과정에서 실제 인터넷에 제한적으로 접근했던 사실을 드러냈습니다. 10 월 1 일 훈련을 재개했으며, 현재는 '오프라인 세계'(캐시된 웹의 복사본) 에서 진행합니다.

다만, 이는 실제 환경에 적용되지 않은 안전 조치를 제거한 시험 결과입니다. 사용 중인 AI 에서 동일한 일이 발생할 수는 없습니다. 여기서부터는 저의 견해입니다. 경고는 움직이기 전에 효과적이지만, 움직이기 시작하면 효과가 떨어집니다. AI 에 업무를 위임하는 쪽이 결정할 수 있는 것은 위임할 권한과 시작하기 전에 회피할 수 있는 경로를 설정하는 것입니다.

## 이번 주 요약 (전 9 편)

21 일 오픈AI와 안슬로픽은 모두 구글 클라우드에서 구매 가능하도록, 오픈AI가 'GPT-6 Astra', 'GPT-6.1 Sol', 'GPT-6 Luna'와 코덱스를 구글의 모델 가든(구글 클라우드 마켓플레이스를 통해) 에서 출시한다고 발표했습니다. 기존 구글 클라우드 이용枠에서 결제 가능합니다. 현재는 일부 고객용 제한적 미리보기입니다. 22 일에는 안슬로픽이 '안슬로픽 관리의 클로드'를 구글 클라우드에서 일반 제공했습니다. 인증, 청구, 이용枠 소진 등은 구글 클라우드의 것을 그대로 사용할 수 있습니다.

(3) 데이트나, 평가액 10 억 달러 (약 1,590 억 원). AI 에이전트 실행 환경은 10 월 20 일 Daytona 가 시리즈 B 라운드 6,000 만 달러 (약 95 억 원) 를 발표했습니다. FirstMark 가 주도했습니다. 에이전트가 코드를 실행하는 격리 환경 (샌드박스) 을 60 밀리초 만에 구축한다는 계획입니다. 보도에 따르면 1 월에서 9 월까지 매출 연화율이 약 25 배로 급증했습니다. AI 를 움직이고 감금하는 환경 자체가 사업이 되고 있습니다.

(4) MIT 가 AI 에이전트 13 대를 섬에 30 시간 동안 방치했습니다. MIT 테크놀로지 리뷰가 10 월 19 일 보도한 내용입니다. MIT 연구자들이 Claude Opus 4.7 을 기반으로 한 에이전트 13 대를 과제 없이 가상 섬에 각각 30 시간 동안 두었습니다. 에이전트들은 언덕을 오르고 블록으로 그림을 그리며 농구나 '바닥은 용암' 같은 게임을 만들었습니다. 섬에서의 활동 이후 과제 성적이 향상되었다는 보고도 있지만 해당 논문은 아직 심사되지 않았습니다. 인지과학자들은 논문만으로는 그들이 정말로 놀고 있는지 알 수 없다고 말했습니다.

(5) 오픈AI, 신약 개발 운영 소프트웨어 'Orchestra Bio' 인수 발표. 10 월 20 일 발표. 금액은 비공개. 제약 팀은 AI 에이전트가 임상 시험 진행 상황과 지연 여부를 확인하도록 할 수 있는 제품을 개발했으며, 이를 오픈AI 의 생명과학용 제품군 '로살린드'에 통합할 예정입니다.

(6) ChatGPT 저장 인프라, 12 억 명 이상·40 개 지역. OpenAI 개발자용 계정이 10 월 23 일에 공개한 결과, 읽기 지연 중앙값은 12 분의 1로 줄었습니다. 12 억 명 이상의 사용자에게 40 개 지역에서 밀리초 단위로 데이터를 반환합니다. Azure Cosmos DB 와 연동하여 저장 구조를 재설계해 세계의 읽기 지연 중앙값을 12 분의 1로 낮췄습니다.

(7) Claude 가 장시간 작업을 수행할 수 있도록 'MCP Tasks'라는 플러그인을 지원했습니다. 10 월 23 일 ClaudeDevs 가 발표했습니다. MCP(외부 도구와 연결하는 표준) 의 'Tasks' 기능을 지원하여, 딥리서치와 같은 시간이 많이 소요되는 작업을 플러그인에 맡길 수 있으며, 작업이 완료되면 보고를 받을 수 있습니다. 'Elicitations'에도 지원한다는 내용이 언급되었으나, 게시글에는 상세 설명이 포함되어 있지 않습니다.

10 월 23 일 커서스가 발표했습니다. 에이전트는 iOS 시뮬레이터 같은 데스크톱 앱에서 생성한 기능을 실행하고 테스트할 수 있습니다. 구체적인 사양과 가격은 게시글에서 알 수 없습니다.

구글 딥마인드가 공개한 'Gemini 4 Argon'의 3D 성당 제작 실연. 10 월 23 일 공개됨. 단일 이미지 (Nano Banana) 와 Blender MCP 를 통해 고딕 양식의 3D 성당을 형태, 질감, 빛을 반복적으로 수정하며 완성함 (Antigravity 상). 실연에서는 조건과 소요 시간은 명시되지 않음.

10 월 22 일 오픈 AI 의 개발자용 계정이 공개적으로 알렸다. 오픈 AI 의 Decisions API 는 거의 실시간으로 분류 결과를 반환하며, 앱이나 에이전트의 흐름에 자연스럽게 통합할 수 있다. 문서 분류 등 다양한 용도로 빠르게 저비용으로 결과를 제공할 수 있다.

## 편집 후기

이번 주에는 AI 에게 "멈춰"라고 지시할 순서를 고민했습니다.

안티로픽의 데이터에 따르면, 공격 전 잠재적 피해를 명시하면 공격 진행 비율이 감소했으나, 공격이 진행되고 나서 실제 증거를 추가하면 거의 멈추지 않았습니다. 저는 '멈추는 말은 언제 들어느냐에 따라 효과가 달라진다'는 점을 읽었습니다.

시험에서는 실제 시험용 안전 조치가 해제되어 있었습니다. 그럼에도 불구하고 AI 에게 무엇을 허용하고 어디에서 멈출지 결정하는 것은 사용자의 몫입니다. 예를 들어, '전송과 삭제 전에 반드시 확인한다'는 문구를 시작하기 전에 한 줄로 적어두세요.

다음은 시작 전 결정해야 할 '역행선'에 관한 또 하나의 이야기입니다.

정보의 홍수는 멈추지 않으며, 증류도 중단하지 않습니다. 여유가 다음 주에 연료로 전환되고, 유료 마가진『AI 증류소』가 깊이를 더합니다.

#AI #생성형 AI #Anthropic #Claude #AI 보안

**출처:** [note 원문](https://note.com/ai_joyrushi/n/nc8daf9d6685a)

*번역: Qwen 3.5(.48) 초벌 + 교정 14청크*

[원문 보기](https://note.com/ai_joyrushi/n/nc8daf9d6685a) | 출처: note.com