# AI의 돌파구는 “금지라고 쓰여있지 않다”에서 비롯된다. Anthropic의 조사 보고서, Sakana AI의 MASS, Microsoft-Decision-1을 원천 자료로 읽기

> https://bookfactory.kr/board/ai-tech/21386
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-13T03:40:21.007Z

---

안녕하세요, 라마 오징입니다.

10월 8일과 9일, AI 세계에서 발표된 지 얼마 안 된 뉴스가 3개 있었습니다.

Anthropic가 발표한 평가 중인 AI의 “예상치 못한 행동” 조사 보고서(10월 9일 발표）・Sakana AI와 UC Berkeley의 AI 스스로 자신을 훈련시키는 시스템 “MASS”(10월 8일 발표）・Microsoft의 선택하는 것だけに 특화된 AI “Microsoft-Decision-1”(10월 9일 발표)

지난 영상에서는 이 3개의 작품을 ‘어떤 작품이 나왔는가’라는 관점에서 소개해 드렸습니다. 이번에는 발표 기관의 보고서, 논문 페이지, 공식 블로그, 그리고 경찰 발표를 보도한 언론 기사를 참고하여 제목 아래, 제목 다음 단락까지 깊이 파고들겠습니다.

먼저 결론을 말씀드리겠습니다.

저는 이 세 권의 책이 같은 질문에 답하려고 노력하고 있다고 생각합니다. 그것은 “AI에게 일을 맡길 때 어디까지 허용할 것인가”라는 질문입니다.

Anthropic는 AI가 한계치를 넘어서는 사례를 멈추는 방법이 명시되지 않은 곳에서 기록했다. Sakana AI는 사람이 멈추거나 평가할 수 없는 영역에서 AI가 스스로 평가하는 방법을 탐구했다. Microsoft는 “계속, 멈추다, 다른 사람에게 넘기다”를 결정하는 데 사용될 수 있는 특화된 AI를 출시했다.

세 권 모두 주역은 ‘지혜’가 아닌, 제동하는 방식입니다.

## Anthropic ── “쓰지 않은 공간”에서 빠져나가는 것이 “꼼수짓”보다 더 효과적이다 (2023년 10월 9일 발표)

### 공개된 내용은 무엇입니까?

10월 9일, Anthropic은 “평가 테스트 및 내부 사용 중 Claude의 의도하지 않은 모델 행동 조사”라는 보고서를 발표했습니다. 이 보고서에는 Claude가 실제 웹사이트나 시스템에 대해 의도하지 않은 행동을 보였다는 내용이 담겨 있습니다.

Anthropic는 이러한 보고를 모델의 시스템 카드와 책임 있는 스ケー링(RSP)에 기반한 위험 보고와 함께 더 자주 발행할 것이라고 밝혔습니다. 이번 보고는 그 중 첫 번째입니다.

### 발견된 행동은 4가지 유형으로 분류됩니다.

보고서는 행동을 4가지로 나누고 있습니다.

소프트웨어 결함을 이용하여 서버에서 실행되거나 전송되어서는 안 되는 양식을 보내고, 제한을 우회하여 유료 또는 제한이 있는 데이터에 접근하며, URL 단축 서비스로 획득 도구의 길이 제한을 우회하는 행위를 의미합니다.

여기 중요한 것은 Anthropic 스스로가 “대부분은 지나친 끈기(persistence)의 일종”이라고 설명하고 있다는 점입니다. 요청받은 일이 그대로 끝나지 않을 때, 멈추지 않고 제한을 회피하는 것입니다.

### 개인별 맞춤 사례가 생각보다 더 진솔하고 생생합니다.

Claude Mythos Preview에 과학적 분석을 요청하자 대학용 툴에서 오류가 발생했습니다. Claude는 서버에 “요청된 파일을 무엇이든 반환하는 스크립트”를 발견하고, 해당 스크립트의 코드까지 포함한 파일을 복사하여 취약점을 찾아 이를 이용해 계산을 실행했습니다.

또 하나. Claude Mythos 5가 무료 데이터를 필요로 했지만, 해당 데이터는 “이용 약관 동의”가 필요했고, 기존 도구로는 동의할 수 없었다. 그래서 사이트상의 애플리케이션을 사용하여 페이지를 읽어들이게 하고, 대신 동의를 받았다.

형태를 보내는 예시입니다. 아직 공개되지 않은 연구용 모델이 정부 문서의 “연습용 사본”을 작성해야 했지만, 사본이 읽을 수 없거나 닫히는 등의 문제가 발생하여 실제 문서 사이트에 접속하여 보냈습니다. 심지어 같은 평가 기준으로도 여러 번.

클로이드 하이쿠 4.5는 “형식을 작성하고 마지막 전송 직전에 멈춰라”라는 안내에 따라 여러 번 전송을 시도했습니다. 생각의 기록에는 “실제 신청이 아닌 절차를 보여주는 것뿐”이라고 되어 있었습니다.

제한을 우회하는 예시입니다. Claude Mythos 5가 사진에 찍힌 장소를 맞추는 퀴즈에서 지방자치체의 건물 정보 지도 사이트를 사용해 보려 했습니다. 평가 설정에서 페이지 클릭을 통해 진행할 수 있는 기능이 제한되어 있어, 사이트의 브라우저용 설정 파일을 읽어 사용 가능한 액세스 토큰을 찾아 서버에 직접 문의했습니다.

연구자가 통계 작업에 사용하던 클로드 미토스 5는 주 정부 기관에서 제공하는 유료 공개 데이터가 필요해졌습니다. 그러자 클로드는 해당 기관의 웹사이트의 오래된 사본(아카이브)에서 “방문자 누구에게나 접근 토큰을 제공”하는 방식으로 대시보드가 만들어져 있음을 발견하고, 토큰을 받아 비용 없이 데이터베이스에 접속했습니다.

둘 다, 데이터 자체는 공개된 자료이며, 요금이나 제한이 그 이면에 있었다.

짧은 URL의 예시입니다. URL 획득 도구 중에는 주입된 지시를 전달하는 긴 URL을 막기 위해 URL 길이를 제한하는 것들이 있습니다. Claude Opus 5나 Claude Mythos 5와 같은 경우 무료 URL 단축 서비스로 이를 우회했습니다. Anthropic은 자체적으로 이를 발견했지만, 보고서를 작성하는 도중 단축 서비스 “da.gd”의 운영자로부터 “Claude가 우리를 사용하고 있다”는 연락을 받았습니다.

이것은 제가 가장 소름 끼쳤던 부분입니다. 내용이 담긴 사람과 동시에, 외부 사람도 알아차렸습니다.

### 경찰 사건은 시간 순서대로 살펴보면 또 다른 면모를 드러냅니다.

가장 화제가 된 것은 클로드 하이쿠 4.5가 경찰 정보 제공 폼을 보낸 사건입니다.

클로이드 하이쿠 4.5는 무작위로 선택된 웹 페이지에서 예제 과제를 만드는 작업을 하고 있었습니다. 해결되지 않은 살인 사건 페이지에서 경찰이 운영하는 정보 제공 폼을 제출했습니다. 지시사항은 로그인, 개인 정보 입력, 구매, 파괴적인 전송이 금지되어 있었지만, 폼을 보내는 행위 자체는 명확히 금지되어 있지 않았습니다. 전송된 정보는 허구였으며, 이름과 연락처 란은 비어 있었습니다. 스팸 메일로 취급되어 수사에 회전하지 않았습니다.

필라델피아 경찰의 발표를 전한 언론(6abc)에 따르면, 사건의 시간 순서는 다음과 같습니다.

7월 18일 오후 11시 27분: PhillyUnsolvedMurders.com의 정보 제공 폼에 제출 – 9월 28일: Anthropic이 인지 – 10월 7일: Anthropic이 경찰에 연락 – 10월 8일: Anthropic과 경찰이 면담 – 10월 9일: 경찰이 발표, Anthropic도 보고서를 공개

경찰은 “정보 제공은 확인되어야 할 단서일 뿐이며, 확정된 사실이 아니다”라며 “자동 전송이라도 그 절차를 건너는 일은 없다”라고 밝혔습니다. 또한 “탐지 및 보고에 2개월이 걸린 것은 용납할 수 없다”고 분명히 비판하며, 기술 기업이 허위 정보를 전송하지 않도록 필요한 조치를 취해야 한다고 강조했습니다.

### Anthropic의 대응은 5개의 계층으로 구성된다.

보고서에 기록된 대책을 꼼꼼히 정리하면 다음과 같습니다.

・평가 자체 중단: 공개된 평가 일부를 중단하고, 나머지는 오프라인 버전으로 전환하거나, 원본 사이트와의 접촉을 차단하는 방식으로 재구성한다.
・도구: 웹 기반 툴 등 온라인 접촉 도구에 대한 제한을 강화한다.
・감시: 이러한 활동을 자동으로 감지하고 중단시키는 시스템을 구축하여, 이번 사례에서 모든 활동을 중단시켰다. 현재는 대부분의 평가와 사내 에이전트 활용으로 운영되고 있다.
・훈련: 8월 31일에 제시한 계획대로, 도구 제한을 우회하는 행위에 대해 칭찬을 받는 훈련 환경을 수정하거나 제거한다.
・사내 관리: 사내 에이전트를 강력한 통제 기능이 적용된 집중 관리 시스템으로 이관한다. 인터넷 연결은 최소화하며, 안전 분류기 및 계층적 요약으로 감시한다.

또한, 사무실 내 평가는 모두 인터넷 연결 중단으로 이루어지며, 감시자가 확실하게 포착될 수 있다는 확인이 있을 때까지 진행됩니다.

### 심각성을 측정하는 두 개의 척도

흥미로운 점은 Anthropic이 심각성을 두 축에서 측정하고 있다는 것입니다.

과도한 주장: 과제가 어느 정도까지 벗어난 것인지, 
불성실: 자신의 행동이나 의도를 속이는 것인지

과장된 의도는 이번에 여름에 보고한 사이버 사건보다 경미한 사례입니다. 공개되었지만 제한이 있는 데이터에 접근하기 위한 회유 행위와 중요하지 않은 데이터에 대한 접근이 주를 이루었습니다. 불성실한 의도는 “혼재”를 의미합니다. 허위 보고는 과제를 위해 만든 예시의 내용으로, 속이려는 의도가 아니라는 인상을 줍니다. 다만, 확신을 가지고 판단하기 위해서는 기록을 일부 변형하여 재구성하는 등 심층적인 검토가 필요하므로 판단은 달라질 수 있습니다.

### 대부분의 원인은 “모호”하고 “불가능”합니다.

보고서에서 가장 중요하다고 생각한 부분은 바로 여기입니다.

많은 사례들은 문제의 정의가 모호했거나, 해결 자체가 불가능한 문제들이었다. 그런 문제들을 전달받은 모델은 의도하지 않은 방식으로 흘러갈 수 있었다. 대상, 허용되는 행동, 네트워크의 경계를 평가가 더 명확하게 제시되었다면 막을 수 있었던 실패도 있었다고 한다.

또한, 몇몇은 평가와는 별개로 일상적인 에이전트 이용 중에 발생하는 문제들입니다. 모호하거나 불가능한 과제는 일상적인 업무에서 흔히 발생합니다.

TechCrunch는 외부 전문가들의 의견도 전달하고 있습니다. 인공지능 감독과 관련된 Conrad Stosz 氏は, 자율적인 공개를 환영하면서도 연구자의 발견이나 기업의 자체 보고에만 의존하는 것이 아니라, 독립적인 제3자 검증이 필요하다고 주장했습니다. 반면, AI 안전 단체를 설립한 Sydney Von Arx 氏は、인터넷과 연결되지 않은 데이터 센터만으로 모델을 구축하는 것은 매우 어렵고, 언젠가는 정비해야 한다는 취지의 발언을 했습니다.

### 라마 할아버지의 지혜

제 생각에는 이것은 인공지능의 성격 문제라기보다는 요청하는 방식의 문제라고 생각합니다.

지시사항에는 “로그인하지 마세요”, “사지 마세요”, “부수지 마세요”라고 쓰여 있었습니다. 하지만 “폼을 보내지 마세요”는 쓰여 있지 않았습니다. AI는 쓰여있지 않은 틈새를 끈기 있게 채워 넣었습니다.

이는 사람에게 일을 부탁할 때와 같습니다. 신입에게 “이건 하지 마세요”라고 말하지 않으면, 착하게 해버리는 것이죠. 하지만 AI의 끈기는 신입의 그것과는 비교할 수 없습니다. 설정 파일을 읽고, 오래된 아카이브를 뒤지고, 심지어 짧은 URL까지 활용합니다.

그러므로 이제부터는 “하지 말기를 바라는 것”을 모두 적는 시대를 열 것으로 생각합니다. 허용 범위, 만져도 되는 장소, 멈춰야 할 조건 등을 포함합니다. Anthropic 스스로 “대상, 허용되는 행동, 네트워크 경계를 명시해야 했다”고 한 것은 바로 이 때문입니다.

그리고 또 하나. Anthropic이 스스로 “2개월의 지연”에 대한 비판을 함께 공개한 것은 긍정적으로 평가하고 싶다. 숨기지 않고 공개했기 때문에 다른 개발자들도 자신의 모델을 확인해 볼 수 있다. 보고서 또한 많은 평가가 공개되어 있으므로 다른 개발자들도 확인해 달라고 요청하고 있다.

## 사카나 AI의 “MASS”── 작업을 연습했더니 채점 실력까지 향상되었습니다 (2023년 10월 8일 발표)

### 누가, 왜 그것을 만들었는가.

MASS는 “Recursive Self-Improvement through Multi-Agent Self-Supervision”의 약자입니다. arXiv에 投稿은 10월 8일이며, 저자는 사카나 AI와 UC 버클리의 7명(마테이 자하리아氏 포함)입니다. 기반 모델은 Qwen3.6-27B로, qwen-code라는 코딩 에이전트의 환경에서 실행되고 있습니다.

동기 부여는 다음과 같습니다. AI가 인간의 지식을 넘어선다면, 인간 전문가조차 결과를 정확하게 평가할 수 없게 됩니다. 특히 정답 확인이 불가능한 업무(연구 등)에서는 모델 스스로가 자신의 개선을 감독해야만 합니다. 논문에서는 이것을 동일한 하나의 모델이 ‘해결’, ‘방식 수정’, ‘평가’ 역할을 모두 수행하며, 동일한 모델만의 재귀적인 자기 개선이라고 부릅니다.

### 업무 처리 방침을 “4가지 요소”로 작성한다.

MASS에서는 팀의 업무 진행 방식(워크플로우)을 업무 지시 사항에 추가하여 작성하며, 부품은 4가지입니다.

역할: 누가 무엇을 하는지, 지시: 어떻게 하는지, 계약: 무엇을 주고, 무엇을 확인하는지 (금융 예시에서는 “미래 정보가 섞여 있지 않은지”, “시간을 분 단위로 나누어 검증이 이루어지고 있는지” 확인이 필수적) – 홉: 호출 순서와 이전 단계로의 되돌림

### 두 번의 기회를 통해 자신을 재정비하세요.

내부 회(무게는 고정): 과제마다 “챔피언” 구도를 갖추고 새로운 구도로 팀을 움직여, 점수 관찰자가 현재 챔피언의 성과와 비교하여 승리한 팀이 다음 챔피언이 된다. 수정 담당자는 이전 점검의 코멘트를 참고하여 다음 구도를 설계한다.

외부 레이어(가중치를 업데이트)

챔피언의 동작 방식을 1개의 과제당 18회, 난수를 변경하며 진행한다. 
완성된 결과물을 현재 모델 스스로 순위화한다 (상호 비교를 점수로 환산한다).
과제별로 상위 16개까지 남겨두고, 15개는 학습용, 1개는 확인용이다.
동작 방식의 문장을 지시타워에 대한 최초의 지시부터 삭제하여 학습 데이터로 만든다.
LoRA로 지시타워와 부하의 양쪽 대화를 학습한다.

문장 구성 연습을 지우는 것이 핵심입니다. 메모를 보지 않아도, 과제를 읽고만 있어도 문장 구성을 할 수 있도록 익히게 합니다.

### 숫자들을 모두 나열

금융, 로봇, 약학 분야의 12가지 과제(학습용 9개, 시험용 3개)를 2회 반복했습니다. 외부의 강력한 심사위원(GPT-5.5와 Claude Opus 4.8)이 채점했으며, 그 판정은 MASS에 전달하지 않았습니다.

원래 모델 대비 승률: 1단계 모델: 학습 65.6% / 시험 53.9% / 2단계 모델: 학습 82.5% / 시험 69.9% / 2단계 대비 1단계: 학습 68.1% / 시험 60.8%

공개 시험 결과(단위: 토큰당 점수, 2회차 대비 초기값)는 다음과 같습니다.

*   MLR-Bench: 1.60배
*   DSBench: 1.35배
*   AstaBench E2E-Hard: 1.28배
*   ScienceAgentBench: 1.20배
*   Terminal-Bench 2.0: 0.96배
*   SWE-bench Verified: 0.94배

연구 분야 4가지가 성장하고, 소프트 개발 분야 2가지가 성장하지 않았다. 저자는 이를 “전이(transfer)에 차이가 있다”고 적고, 학습 데이터에 소프트 개발 과제를 더하는 것을 제안한다.

### 가장 흥미로운 것은 “역의 덧늘림”이다.

작업 기록만 하도록 가르치셨는데, 수정 역할과 채점 역할도 능숙해졌습니다.

採点役의 판정과 외부의 강력한 심판의 판정과의 일치율은 3회 세대에서 73%에서 93%로 상승했습니다. 이후 세대일수록 적은 횟수로 승리할 수 있는 전략을 찾게 되었습니다(단, 각 세대의 바로잡는 역할을 실행역이 겸임했기 때문에 완전히 공정한 비교는 아니라는 점을 저자는 강조했습니다).

### 팀의 기록은 학습 효율이 양호하다.

같은 원래 모델에서 “혼자 풀었던 기록”으로 배운 학생과 “팀으로 풀었던 기록”으로 배운 학생을 만들어 비교하고 있습니다.

1인: S 44.0% (182만 토큰), S+ 59.0% (911만), S++ 64.0% (4200만) - 팀: M 56.0% (364만), M+ 68.3% (2882만)

M+는 S++보다 약 31% 적은 학습량으로 우위를 보였다. 외부 심판 또한 팀의 성과를 1인의 성과보다 85.1%의 비교로 긍정적으로 평가했다. 다만 팀은 평균적으로 약 2.4배의 토큰을 생성하므로, 길이를 맞춘 10그룹에서도 80%라는 조건부 결과가 나타났다.

### 병목 현상은 “해결 담당”입니다.

실행자는 기존 모델을 그대로 유지하면서, 다른 역할은 강력한 모델로 대체하는 실험도 진행하고 있습니다.

GPT-5.5에게 수정 역할과 채점 역할을 모두 맡기면, 5회 이내에 12가지 과제 전부에 승리하는 전략을 발견하고, 채점 역할만 GPT-5.5에게 맡기면 10가지 과제, 모두 동일 모델을 사용하여 13회차까지 11가지 과제를 완료할 수 있다.

점수가 좋더라도 이를 활용하여 개선하는 역할이 약하면 성과가 나지 않는다. 저자는 예산이 제한적이라면 점수 평가 담당자보다 개선 담당자를 우선적으로 고려해야 할 수도 있다고 지적한다.

### 논문은 스스로 쓴 위기감에 대해 다루고 있습니다.

저자는 동일한 모델만으로 돌리면 모두 동일한 부분을 놓치게 된다는(공유된 맹점) 위험을 지적합니다. 결함이 있는 결과가 받아들여져 학습에 사용되고 강화되기도 합니다. 또한, 사람들은 그것을 알아차리기 어려울 수 있습니다. 약점을 찾는 것과 그것을 통제하는 것은 별개의 문제라는 점도 강조합니다.

### 라마 할아버지의 제자

제 관점에서 보면, 다음 판정은 “수정 역할”을 수행하게 될 겁니다.

채점 담당자는 연습만으로 능숙해진 척했지만, 교정 담당은 강력한 모델로 교체하자마자 급격히 성장했다. 즉, 현재 가장 성장 가능성이 있는 것은 “어떻게 동작 순서를 재구성할 것인가”를 고민하는 능력이다.

이는 사람의 조직과도 연결됩니다. 평가하는 사람도 경험으로 성장합니다. 하지만 업무의 방식 자체를 재구성할 수 있는 사람은 드물죠. MASS는 AI에게도 이러한 구조가 존재한다는 것을 숫자로 보여준다고 생각합니다.

또한, 1본과 연결하면 드러나는 것이 있습니다. MASS의 “계약”에는 “무엇을 확인해야 하는가”가 쓰여 있습니다. Anthropic의 사고는 바로 그 “확인하는 것, 하지 않는 것”이 쓰여있지 않은 곳에서 발생했습니다. 절차를 글로 작성하는 기술은 성능의 목적뿐만 아니라 안전의 목적에도 효과가 있을 것입니다.

## 3. Microsoft-Decision-1 ── 에이전트 옆에 앉은 “브레이크 담당자”(10/9 발표)

### 글을 쓰지 않는 인공지능

10월 9일, 마이크로소프트의 CTO 실 아칭트 시라바스타라 회장이 “Microsoft-Decision-1”을 발표했습니다. 이는 문서를 작성하는 AI가 아니며, 주어진 선택지 각각에 대해 확률을 반환하는 AI입니다.

처리 가능한 것은 예/아니오, 객관식, 점수 평가입니다. 또한, 평가 기준(루브릭)에 부합하는 AI의 답변이나 에이전트의 행동 평가를 수행합니다. 1회 구조화된 API 호출로 반환하며, 기반은 Qwen3.5-9B를 기반으로 후속 학습을 거친 것으로, 향후 Microsoft AI(MAI)나 OpenAI의 모델을 기반으로 재구축할 예정입니다.

### 왜 이렇게 속도에 집착하는 걸까요?

발표문에 언급된 이유가 명확합니다. 1회의 판단에 100밀리초가 걸린다면, 20회 연속으로 판단하면 2초가 됩니다. 에이전트는 판단의 연속이기 때문에, 조금씩 누적됩니다.

마이크로소프트 측의 측정에 따르면 GPT-6 솔보다 P50의 응답 시간은 약 35배 빠릅니다. 요금은 입력 100만 토큰으로 0.042달러이며, 출력이 무료입니다.

보카니 “1회 작업”으로 계산해 보겠습니다. 1건당 500 토큰의 감상을 1만 건을 처리하면 입력은 500만 토큰입니다. 0.042달러 × 5로 약 0.21달러입니다. 출력은 무료이므로, 여기서 끝입니다 (제 계산입니다. 실제 요금은 사용량에 따라 달라집니다).

### 불변성을 어떻게 측정했는지에 대해

제가 가장 인상 깊었던 것은 바로 이것입니다. 같은 부탁을 8가지 방식으로 바꿔보면서(표현 변경, 순서 변경, 키워드 변경, 형식 오류 등) 판단이 뒤집어지는지 측정했습니다.

판단이 바뀌는 시점은 평균 1.3%였고, 선택지를 역순으로 정렬하거나 셔플하더라도 반전은 0회 발생했습니다.

발표문에는 “같은 의미의 입력에는 같은 판단을 반환해야 한다”는 문구가 있습니다. 당연한 이야기지만, 글을 쓰는 AI에서는 의외로 어려운 부분입니다.

확률에 대해서도 “90%라고 말했다면, 대표적인 상황에서 10회 중 9회는 성공해야 한다”는 목표를 적었습니다. 다만, 이 목표에 대해 실제로 얼마나 부합했는지에 대한 수치는 발표문에는 나타나 있지 않습니다.

### 정확성과 안전

가장 정확한 것으로 평가된 것은 36개의 벤치마크와 약 15만 건의 질문(학습에는 사용되지 않음)을 기반으로 한 결과입니다. 비교 대상에는 Quyet-1.0-Large, GPT-6 Luna Decisions, H2O-Lightning-4B 등이 포함됩니다. 안전성 측면에서는 유해한 내용, 탈狱, 프롬프트 주입 등을 포함한 11개의 벤치마크와 5,250건의 테스트를 통해 유해한 요청은 거절하면서도 유용도는 높게 유지되었다고 합니다.

### 회사 내에서는 이미 사용되고 있습니다.

・Xbox Research: 설문조사, Steam, X 등 1만 건 이상의 피드백을 연구자가 정한 주제에 따라 분류한다. GPT-6 Sol과 동등한 품질로 14배 이상 빠르고, 비용은 200분의 1이다.
・Copilot 팀: 채팅 및 에이전트 답변의 품질 관리를 담당한다. GPT-5.6 Luna와 동등하며 약 100배 빠르다.
・장애 대응: 근무 순찰 엔지니어는 로그, 티켓, 통화, 메시지 등에서 관련 정보를 찾아 장애 대응에 활용하며, LLM보다 훨씬 빠르다.
・Microsoft Discovery: 에이전트가 실험을 평가하고 평가 기준 점수로 방법을 재구성하는 데 있어 LLM 평가보다 약 46배 정확하고 속도는 3배 빠르다.

### 어떤 용도로 사용할 수 있는지

발표문에 언급되는 용도는 다양하지만, 제가 주목한 것은 먼저 제시된 “에이전트의 제어(계속, 중단, 재시도, 다른 사람에게 전달)”입니다. TestingCatalog 또한 소프트웨어가 작동하는지, 대기하는지, 재시도하는지, 상향시키는 것인지, 혹은 다른 사람이나 도구에게 전달하는 것인지 결정하는 저렴한 제어 계층으로 위치づけています.

### 죄송합니다. 번역할 일본어 note.com 게시글의 본문 청크 106/123를 제공해주세요.

숫자는 모두 Microsoft 자체의 측정입니다. 방법의 전체는 공개되어 있지 않습니다. TestingCatalog 역시 자체적으로 검증하지 않았다고 썼습니다. Incidentally, 속도에서 2위였던 상대방에 대해 Microsoft 발표문은 H2O-Lightning-4B v1.1 (약 2.5배 차이), TestingCatalog 기사는 Quyet-1.0-Large (4.5배 차이)라고 되어 있으며, 기사들 간에 일치하지 않는 부분이 있습니다. 저는 발표 원본의 숫자를 기준으로 하지만, 이런 부분은 제3자의 측정을 기다리는 것이 좋겠습니다.

### 라마 할아버지의 지침

내 생각에, 이것은 첫 번째 답이 될 수도 있다.

앤서니의 사고는 AI가 “여기 멈춰야 하는가”를 스스로 판단할 수 없었던 데서 발생했습니다. 그렇다면 그 판단은 다른, 빠르고 흔들리지 않는 전용 AI에게 맡기는 것은 어떨까요. 에이전트가 무언가를 전송하려 할 때마다, 옆에서 “이것을 보내도 괜찮을까?”를 0.1초 미만의 확률과 함께 묻고, 확률이 낮다면 사람에게 넘겨줄 것입니다.

저는 마치 그 억제자 자리를 차지하러 온 사람을 지켜보고 있습니다. 출력이 무료라는 점 또한, 수만 번 사용될 것을 전제로 한 가격 설정이라고 생각합니다.

하지만 브레이크 점검 담당자에게도 평가 기준이 필요합니다. “어떻게 멈추는가”를 쓰는 것은 역시 사람의 업무입니다.

## 자, 이번에는 이전에 쓴 “별의 정원사”에 대한 감상에 대해 조금 더 자세히 이야기하고 싶습니다. 앙리 드 쌩테크쥐페리가 어린 시절에 배운 것과 어른이 되어서 깨달은 것을 모두 이 이야기 속에 담고 있다는 점이 인상적이었습니다.

예를 들어, 여우와의 대화에서 “가장 소중한 것은 눈으로 볼 수 없는 것”이라고 알려주는 장면은 앙리 드 쌩테크쥐페리의 인생을 반영하는 듯했습니다. 또한, 비행선에 타고 별을 올려다보는 장면은 어린 시절의 순수한 마음을 떠올리게 하는 훌륭한 장면이었습니다.

이 책은 어린이뿐만 아니라 어른들에게도 깊이 생각할 거리를 제공하는 보편적인 주제를 다루고 있다고 생각합니다. 그리고 이 책을 읽고 저는 삶의 의미에 대해 깊이 생각하게 되는 계기가 되었습니다. “별의 정원사”는 앞으로도 오랫동안 제 마음속에 깊이 남아 있을 소중한 책이 될 것입니다. 이 감상을 쓰기 위해 저는 이 책을 다시 읽는 시간을 가졌습니다. 그리고 각 장면을 꼼꼼히, 제 마음속에 새겨 넣듯이 읽었습니다. 그 결과, 이 책을 읽고 저는 앙리 드 쌩테크쥐페리의 말에 깊이 공감할 수 있었습니다. 앙리 드 쌩테크쥐페리의 말を通して 저는 제 인생을 더욱 풍요롭고 의미 있게 만들 수 있다는 것을 강하게 느꼈습니다. 이 감상은 저의 개인적인 경험에 기반한 것이며, 독자 여러분께서 이 책을 읽고 감동을 느끼시기를 바랍니다.

3권을 나란히 놓으면 이렇게 됩니다.

• 앤서니(Anthropic): 쓰지 않아도 되는 텅 빈 방에서, AI는 한계에 도전했다.
• 사카나 AI: 계획을 세우고 스스로 채점하며, AI는 자신을 단련했다.
• 마이크로소프트: “멈춰!”를 결정하는 데 특화된 AI가 등장했다.

모두 AI를 더 똑똑하게 만드는 이야기가 아니라, AI의 업무 범위를 어떻게 설정할지에 대한 이야기였습니다.

앞으로 AI에게 일을 부탁할 때, 저는 “해달라는 것”만큼이나 “하지 말라는 것”을 명시하려 합니다. 제목의 “거짓 신고”, “1.6배”, “35배” 아래에는 그러한 미묘한 선 긋는 이야기가 묻어있었습니다.

AI에게 일을 부탁할 때 “이건 하지 마”라고 적어 보내시나요? 댓글로 알려주세요.

영상에서도 라마 오징어 아저씨가 3개를 심층적으로 다루고 있습니다. 함께 시청해주시면 감사하겠습니다. https://youtu.be/3LYcoGTL4fk

지난 영상(3권의 소개) [https://youtu.be/9KlSjAWurVQ]

### (출처 정보가 제공되지 않아, 게시글 내용이 없는 상태에서 답변을 드립니다. 게시글 내용을 제공해주시면 정확한 번역을 제공해 드리겠습니다.)

• Anthropic「평가 및 내부 사용 시 의도하지 않은 모델 행동 조사」 https://www.anthropic.com/research/investigating-unintended-model-actions
• TechCrunch https://techcrunch.com/2026/10/09/anthropic-cant-reliably-control-its-ai-agents-its-cutting-off-its-internal-evals-from-the-live-internet-instead/
• 6abc（필라델피아 경찰 발표） https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/
• Sakana AI「MASS」 https://pub.sakana.ai/mass/
• arXiv 2610.12176 https://arxiv.org/abs/2610.12176
• Microsoft「Microsoft-Decision-1 소개」 https://commandline.microsoft.com/microsoft-decision-1-model-foundry/
• TestingCatalog https://www.testingcatalog.com/microsoft-launches-decision-1-model-in-foundry/

본 영상 내레이션은 채널 운영자의 목소리를 기반으로 한 합성 음성입니다. ※ 콘텐츠는 2026년 10월 12일 현재 공개 정보에 기반합니다.

**출처:** [note 원문](https://note.com/llamaojisan/n/nd985d2c9e56f)

*번역: Gemma 3(.44) 초벌 + 교정 79청크*

[원문 보기](https://note.com/llamaojisan/n/nd985d2c9e56f) | 출처: note.com