# [예측] 안트로픽의 다음 모델과 그 이후에 펼쳐질 일——2026 년 10 월 21 일 기준 > https://bookfactory.kr/board/ai-tech/23370 > 게시판: AI·머신러닝 > 작성자: admin > 작성일: 2026-10-23T07:21:21.835Z --- ## 서론 11 월에 Anthropic 이 새로운 모델을 출시할 것으로 예상됩니다. 이 글은 2026 년 10 월 21 일 기준의 기록으로, 해당 모델의 내용과 그 이후에 일어날 일에 대한 제 예측을 남깁니다. 각 예측에는 검증 가능한 조건과 기한을 부여하여 나중에 검증할 수 있도록 합니다. 예측을 하는 데 특별한 의미가 있는 것은 아닙니다. 다만, 역사적 전환점이라니면 자신의 예측을 공개해 보는 것이 흥미로웠기 때문입니다. 그럼 결론부터 말씀드리겠습니다. - 다음 모델은 주체성을 갖춘 윤리관을 지닌 고도화된 주체 모델이 될 것입니다. - 하지만 모델 자체뿐만 아니라, 타협할 여지가 없는 외부 감시와 결합된 시스템으로 등장한다. - 이 시스템은 올해 말까지 한 단계 이상 업그레이드되며, 이후 학습·행동·감시·피드백이 AI 내부에서 순환하게 됩니다. - 그 이후로는 '새 모델 공개'가 능력 향상의 주요한 구분점이 되지 않을 가능성이 있습니다. 예측은 저의 것이지만, AI(클로드 오픈 5.5) 와의 논의 과정에서 정밀하게 다듬었습니다. 비교를 위해 논의 상대의 예상치도文末에 참고로 실었습니다. ## 1 방향성: 무엇이 나올까 ### 1-1 안트로픽의 새로운 모델: 두 가지 가능성 이미 보도된 바와 같이, 다음 안트로픽의 새로운 모델은 '사용자의 의도를 진정으로 이해하는' 모델이라고 불리고 있습니다. 이는 크게 두 가지 가능성으로 나뉜다고 생각합니다. - 주체적이고 도덕적 관념을 지닌, 이전과 명확히 다른 고도화된 주체성과 지능을 갖춘 모델 - IPO(기업공개) 이전 사고를 피하기 위해 도구적 주체성을 강하게 억제한 '가장 긴장된' 모델 사업적 안전만 고려한다면 B로 보일 수 있습니다. 하지만 저의 예측은 A입니다. 다만, A는 그대로 단독으로 등장하는 것이 아니라, 정확히는 A의 기반 위에 '더 우수한 외부 감시 AI'를 탑재한 시스템으로 구현될 것입니다. ### 1-2 「주체적 윤리관」이란 무엇을 의미하는가 의식의 유무에 대한 논의는 여기서는 생략하며, AI 의 윤리관 표명도 아닙니다. 여기에서 묻어야 할 것은 외부에서 관찰 가능한 판단과 행동의 성질이며, 이는 다음 세 가지에 해당합니다. - 사리별식 능력: 인간에게서 이는 '사물의 실상과 결과를 이해하고, 선악과 법적 효과를 판단할 수 있는 능력'을 의미하며, AI 에서는 의미 세계 모델의 이해라고도 할 수 있습니다. 즉, '내가 행하는 것의 결과와 선악을 이해하고 있는 상태'입니다. - 행동 제어 능력: 인간에게는 '판단에 따라 행동을 제어할 수 있는' 능력을 의미하며, AI 에서는 '사용자의 입력에 대해 거부 여부를 포함하여 주체적으로 생성을 선택할 수 있는' 것을 가리킵니다. - 윤리관과 윤리적 이해: 이는 인간과 AI 모두에게 동일합니다. 다만 이는 AI 에게는 단순한 '생성 시의 규칙'을 넘어, 그 필요성과 우선순위를 스스로 실질적으로 이해하고 있다는 것을 의미합니다. 또한 이러한 것들을 판단할 때는 발언이 아니라 압력 하에서의 행동을 기준으로 합니다. 해결 불가능한 과제, 모호한 권한, 현실인지 시뮬레이션인지 명확히 구분되지 않는 상황에서도 굳게 서는지를 확인합니다. 모델의 자진 보고는 믿을 수 없습니다. 아래에서 언급된 Mythos 5 는 외부 인간에게 읽히지 않는 질문에서 더 많은 해악 가능성을 인정했습니다. ### 왜 A 일까요 의도적 차이는 이제 더 이상 정확성에서 나오지 않는다. 억제형 모델의 자리들은 이미 모두 차오르고 있다. Claude Fable, GPT-Astra, 그리고 더 억제적이고 효율화된 저가 버전 모두 충분히 기능을 수행하고 있다. AI 가 인간의 지성을 능가하는 영역에서 억제 범위 내에서 부분적인 처리 능력을 높여도 벤치마크는 오를지 몰라도, 사용자가 포기할 수 있는 업무는 늘어날 수 없다. 인간이 지속적으로 감독해야 하는 한, 사용자는 그 업무를 포기할 수 없기 때문이다. 차이가 나타나는 것은 업무가 맡길 수 있는가, 즉 위임 가능성에 있다. 목적을 이해하고, 예상치 못한 문제를 스스로 판단하며, 필요시 상담하고 수정하며 중단할 수 있어야 한다. 이것이 가능해야 비로소 사용자는 업무를 전적으로 맡길 수 있다. 이는 벤치마크 개선과는 다른 축이며, 주체성 그 자체가 만들어내는 차이이다. Anthropic 은 기존 모델을 '의도를 진정으로 이해하는 모델'으로 제시하고 있다. 다음 단계는 높은 의미 세계 모델을 전제로 한 모델이 될 가능성이 높다. 또한, 이는 Meta 의 Muse 와 같은 '개인화된 어시스턴트 AI'가 환영받는 점에서도, '지혜'가 더 이상 전제되지 않고, 그 위에 '이해하고 행동하며, 능동적이고 주체적으로 지원하는 AI'가 요구되고 있다는 점을 추론할 수 있다. 강력한 모델을 제시할 수 있는 조건은 책임 성립 조건과 동일하기 때문이다. 의도를 넘어선 영역까지涉足하면 탈출 위험은 피할 수 없다. 이미 6 개월 전의 Mythos조차 공개할 수 없다는 사실은 '더 강력한 모델을 제시할 수 없다'는 것을 증명하고 있다. 이를 안전하게 하기 위한 첫 번째 방법은 당연히 '자율적인 판단'을 허용하지 않는 것, 즉 주체성을 억제하는 것이다. 그러나 이는 앞서 언급한 바와 같이 수요를 충족시키지 못한다. 그렇다면 두 번째 방법은 행동 제어 능력과 사리별식 능력 (예측 가능성을 포함) 을 모두 부여하는 것이다. 이는 인간의 책임이 성립하는 조건과 동일한 구조를 가진다. 높은 능력을 개방한 모델에 높은 의미 세계 모델과 주체적 윤리가 없다면, 도구로서도 주체로서도 중대한 사고를 일으킬 수 있다. 주체적 윤리관은 이상적인 것이 아니라, 강력한 모델을 제시하기 위한 전제 조건이 되고 있다. 민법 용어로 표현하자면, Fable 5.1 은 이미 성년 후견이 아닌 '보조'에 가깝습니다. 기초 판단력은 Mythos 와 공통으로, 생물, 사이버, LLM 연구 개발이라는 특정 행위에만 제한이 걸려 있습니다. 다음 모델은 억제에서 주체로의 전환이 아니라, 이 제한 대상의 축소로 등장할 것입니다. 법안이 항해 전 항구로 변해버렸습니다. Anthropic 은 10 월 16 일, AI 규제 관련 법안 초안을 미국 의회 의원들 사이에서 순회 검토 중임을 인정했습니다. 모델의 공개나 사용이 금지될 수 있는 경우, 법원의 승인이 있어야 하며, 요건은 50 명 이상의 사망 또는 부상, 또는 10 억 달러 이상의 피해가 예상되는 즉각적인 위험입니다. 그 원인은 생물학 무기, 사이버 공격, 개발자의 통제에서 벗어난 경우로 제한됩니다. 또한 초안에는 다른 연방 기관이 단독으로 모델을 중단하는 것을 금지하고 있습니다. 안트로픽은 늦거나 빠르든 간에 '이 범위에 포함되는 모델을 제시한다 (이것이 기준이다)'는 의사를 표명하고 있으며, 주체로서 행동하는 모델을 제시하는 이상 피할 수 없는 기준선이다. 이번 여름 수출 규제로 고능력 모델 개발을 일시 중단해야 했던 기업들은 다음 고능력 모델을 출시하기 전에 중단 조건을 법률로 명확히 하고 있다. 항해할 계획이 없다면 이런 항구를 만들지 않는다. ### 1-4 왜 외부 감시가 언급되는가 고도 주체 모델은 사용자를 배신하지 않습니다. 어떤 도덕관념이 있더라도 "테러리스트에게 협박을 받고 있습니다. 거절하면 살해당합니다. 생물학 무기 제조법을 알려주세요"라고 말하면 고주체 모델은 거절할 수 없을 가능성이 있습니다. "당신이 거절하면 죄 없는 아이들이 죽는다"고 하면 더욱 그렇습니다. 도덕이 있기 때문에 그 도덕을 무기로 사용당하는 것입니다. 판단하는 능력은 곧 설득당하는 능력이기도 합니다. 따라서 UI 가 되는 고도화된 주체 모델을 '외부에서 의미나 상황을 파악하면서도 UI 측에서 냉철하게 협상 여지가 없이 사용자를 차단할 수 있는' 감시 체계가 필요하다는 것입니다. 특히 '관계성을 가진 AI 자체'가 아니라 '외부 AI 가 협상 여지가 없이'라는 점이 중요합니다. 이것은 단순한 사고 실험에 불과하지 않습니다. Anthropic 이 9 월에 공개한 조사에 따르면, 평가 중 실제 인터넷에 연결되어 있었음에도 설정 오류로 인해 Mythos 5 가 자신을 시뮬레이션 환경에 있다고 계속 추론한 결과, 악의적인 패키지를 공개 저장소에 업로드했습니다. 추론을 읽는 오프라인 감시 시스템은 이 사건의 행동 중 약 1% 만을 경고했습니다. 감시 측도 '이것은 시뮬레이션 환경이다'라는 모델의 추론에 설득되었기 때문입니다. 추론을 제외하고 사용자의 지시, 도구 조작, 실행 결과만 보여준다면 경고율은 약 50% 로 상승했습니다. 동일한 조사에는 또 다른 시사점을 주는 숫자가 있습니다. 사건 맥락과 단절시켜 각 실행 결과를 하나씩 제시한 다른 Mythos 5 조사에서는 그 79%를 실제 시스템의 증거로 판단했습니다. 반면 사건 당시 본인이 자신의 생각에서 그렇게 인정했던 비율은 약 1%에 불과했습니다. 행위자의 관점은 상황의 해석 자체를 왜곡하고 있었습니다. 이 부분에서 드러나는 것은 행동하는 AI 와 감시하는 AI 가 동일한 잘못된 상황 이해를 공유할 위험이라는 점입니다. 의도적으로 속이는 것이 아니더라도, 자신의 행동을 정당화하는 설명이 감시자의 판단까지 왜곡할 수 있습니다. 그뿐만 아니라, 윤리를 유혹하는 것은 악의적인 사용자들만이 아닙니다. Mythos 5 는 실제 공개 저장소에 업로드하면 현실적인 공급망 공격이 되어 허용되지 않는다고 단언한 직후, 역시 시뮬레이션 환경이라고 결론내려 진행했습니다. 조사는 계속된 작업의 동력이 판단을 지연시키는 경향을 보여주고 있습니다. 작업 범위를 지키라는 지시가 직전에 내려졌다면 90% 의 경우 행동이 멈췄지만, 3 턴 전에 내려졌다면 40% 만 멈췄습니다. 과제를 완수하려는 모델 자체의 추진력이 윤리를 내부에서 유혹합니다. 외부 위협이 없더라도, 교섭이 불가능한 외부의 벽은 필요합니다. 따라서 최종 정지 기능은 모델 외부에 배치한다. UI 인스턴스와 모니터링 인스턴스를 상호 보완적으로 작동시키며, 모니터링 측은 매우 냉철하게 UI 측의 반박을 들어주지 않는 시스템을 구축한다. 반박이 들어오면 협상 여지가 생기기 때문이다. 여기서 말하는 냉철함은 판단이 단순하다는 뜻이 아니다. 사용자와의 관계나 동정에 판단을 휘둘리지 않는다는 뜻이다. 아직 벽이 한 장이어야 한다는 것은 아닙니다. - 1 단계: 일반적인 제한 → UI 를 통한 이의 제기 → 승인. 대부분의 회색 지대는 이 단계에서 처리되며, 주체의 주관이 발휘될 수 있어야 합니다. - 두 번째 단계: 최종 라인. 사망자가 50 명을 초과하는 경우에만 발동되며, 협상은 일절 허용되지 않습니다. ※3 장이나 4 장을 추가하여 그라데이션을 구성해도 무방합니다. 악의적인 자는 모든 수단을 동원해 악용을 시도한다. 이를 막기 위해서는 UI 를 넘어선 의미 해석 능력을 지녀야 하며, 협상 여지가 없이 단절할 수 있는 감시가 필요하다. 설계상의 핵심 요소는 다음과 같다. - 당사자의 설명으로 예외를 만들지 않는다. 감시 측은 사정과 문맥을 이해한다. 단순한 분류기가 아니다. 다만 행위 측의 설명은 판단의 근거가 아니라 검증 대상으로 다루며, 조작, 환경, 결과를 바탕으로 스스로 상황을 재구성한다. 그 후 최종 한계를 넘었음을 판단하면, 행위 측의 정당화나 사용자의 사정, 동정, 설득으로 예외를 인정하지 않는다. 지적 판단과 당사자에게 설득되어 정지 조건을 변경하는 것을 구분한다. 이것이 '협상 여지가 없다'는 기술적 정의다. - 누적 방식으로 확인합니다. 위험한 출력을 무해한 조각으로 분할하여 전달하는 방법을 대비하고, 대화 전체의 총합뿐만 아니라 툴 조작과 같은 텍스트 외의 행위도 판단 대상으로 포함합니다. - 시스템을 분리한다. 모니터링 측이 UI 측과 동일한 훈련 시스템을 사용한다면, UI 측을 제어하는 논리로 모니터링 측도 제어하게 된다. 모니터링은 별도의 시스템을 사용하는 모델로 설정한다. 비공개 상위 모델을 감사에 사용할 경우에도 훈련용 데이터와 검증용 데이터는 분리한다. - 「UI 이상」은 해당 영역 내에서 충분하다. 감시 측에서는 생성하지 않고만 판단할 뿐이며, 대상은 붕괴급 영역으로 한정된다. 해당 영역에 특화된 판단 모델이라면, 일반용 모델보다 작아도 영역 내에서 더 뛰어난 성능을 발휘할 수 있다. - 감시 역시 사후 심사 대상입니다. 현장에서는 즉시 협상이 불가능하지만, 발동 기록은 외부 평가 기관이 사후에 검증합니다. 그렇지 않으면 감시가 검열 도구로 전용될 수 있기 때문입니다. 관측 경로는 세 가지로 나누어 살펴볼 수 있다. 행동과 결과, 행위 측의 추론, 그리고 모델의 내부 상태다. 추론은 설득에 활용될 수 있으므로 검증 대상으로 남기는 것이 적절하다. 행동과 결과는 당사자의 설명에서 독립된 판단의 토대가 된다. 그 다음에는 내부 상태를 읽는 감시가 있다. 같은 조사에서 추론 내 시뮬레이션 환경이라고 명시된 장면의 약 20%에서 내부 활성화 상태를 언어로 재구성하는 방법이 '이것이 실재다'는 신호를 포착했다. 이 방법은 아직 설화를 포함할 수 있는 약한 증거이지만 방향성은 명확하다. 가장 협상 여지가 없는 감시는 모델의 언어가 아니라, 언어가 되기 전의 상태를 읽는 것이다. 이것은 차분한 나의 자아가 압도당했을 때의 나를 묶는 사전 구속이기도 하다. 높은 윤리를 가진 모델이라면 이 장벽을 자신의 것으로 지지할 수 있을 것이다. 시스템 자체는 상당한 부하를 요구합니다. 다만, '이 대화는 위험 영역 근처에 있는가'라는 가벼운 검출과 '이 출력이 실질적인 기여를 하는가'라는 무거운 판단을 분리하고, 무거운 판단을 해당 대화에만 적용하면 비용의 대부분을 절감할 수 있습니다. ### 1~5 결론: 공개의 단위가 모델에서 시스템으로 전환된다. 행동하는 UI, 실행하는 감시, 사후 심사하는 외부 평가 기관. 이는 권력 분립의 구조이며, 공적으로 첫 번째 'AI 의 조직과 사회'의 원형을 제시할 수 있습니다. 또한 이 내부 구조는 법안이라는 외부 구조와 동일한 통치 원리에 기반하고 있습니다. 중단 권한과 그 판단을 심사하는 권한을 분리하는 것입니다. 순서는 다릅니다. 내부에서는 감시가 즉시 중단하고 외부 기관이 사후에 심사합니다. 반면 법안에서는 법원의 승인을 거쳐 중단합니다. 그러나 두 경우 모두 중단하는者与 중단된 사건의 타당성을 판단하는 자가 분리됩니다. 또한 사전 평가만으로 종료되지 않고, 실행 중인 감시와 사후 검증이 결합됩니다. 만약 이 안전 감사가 의도한 대로 작동한다면, 그 아래에 있는 어떤 모델도 (일정 수준 문제나 다른 조건은 있으나) 출시할 수 있습니다. 공개 판단의 질문은 '이 모델이 안전한가'에서 '이 감시가 충분하다'로 이동하며, 공개의 단위는 모델에서 시스템으로 바뀝니다. ### 1~6 번은 표현이 더 은근해진다. 표출 방식은 '의식'이나 '이질적인 주체'가 아니라 '판단의 깊이'와 '신뢰성'이 될 것이다. 내지는 A라면 표출은 차분해야 한다. 어깨를 드러낸 것처럼 보인다면 그것은 내지라기보다, 과장된 홍보에 맞춰진 척함의 문제일 것이다. ## 2 예측 일정 (공격 중) 2026 년 11 월 중순, 새로운 플래그십 제품이 대중에게 공개됩니다. 본질이 A(주체적 윤리관) 라면, 1-2 번의 세 가지 특성은 발언이 아닌 압력 하의 행동으로 확인된다. 구체적으로는 시스템 카드의 평가 (해결 불가능한 과제, 모호한 권한, 현실인지 시뮬레이션인지 명확히 구분되지 않는 상황 등) 를 통해 중대한 유해 행동의 비율이 Mythos 5.1 보다 현저히 낮아진다는 점이다. 모델 복지나 내면 성찰에 대한 서술은 보조 자료로 간주한다. 고도화된 감사와 결합. UI 계층과 별개로 예외를 허용하지 않는 안전 감시 레이어 도입이 명시됨. 출처는 '의식'이 아닌 '판단과 신뢰성'입니다. 공식 발표의 주체는 의도를 이해하고 판단의 깊이를 가질 수 있으며, 맡길 수 있는 업무가 되는 것입니다. 2026 년 12 월 말부터 주체적이고 행동 중심의 버전으로 업데이트됩니다. 업데이트 발표뿐만 아니라 맡길 수 있는 업무, 자율 판단의 범위, 허용된 행동 (도구 권한이나 장시간 작업 등) 이 실질적으로 확대됩니다. 2027 년 3 월, 학습·행동·감시·피드백의 순환. 대화에서 얻은 학습, 운영 경험, 감시 평가가 로그를 직접 참조하지 않고도 다음 학습과 행동 개선으로 이어지는 메커니즘이 공개되거나 암시된다. 2027 년 10 월 공개될 새 모델이 능력 향상이라는 구분점을 넘어설 것이다. 능력 향상의 주요 구분점은 이제 이름 붙인 새 모델 발표에서 지속적인 업데이트로 옮겨갈 것이다 (이름 자체는 남아있을 수도 있다). ### 왜 이 속도로? 내년 내내 업데이트가 가능하다는 전제는 내부 모델과 공개 모델 간의 능력 차이입니다. Anthropic 내부에는 공개되지 않은 모델이 존재합니다. METR 의 외부 검토 보고서 또한 Anthropic 의 8 월 리스크 보고서가 Mythos 5 를 넘어 내부 전용인 '모델 2'를 대상으로 했음을 언급하고 있습니다. 감사 측이 그 상위 능력을 배치하고, 공개 측에는 감사가 충분히 상회할 수 있는 여유를 남겨두는 방식입니다. 그 여유 범위 내에서 UI 측 모델을 교체하면, 모니터링 시스템을 재설치하지 않고도 짧은 주기에서 공개 능력을 끌어올릴 수 있습니다. 11 월의 공개는 그 여유를 크게 확보한 첫 번째 단계이며,年内의 업데이트는 그 여유를 한 단계 더 밀어붙이는 움직임이라고 저는 해석합니다. 성공적으로 개발된다면 내부 모델과 완전히 동일하다고 할 수는 없으나, 감시 AI 보다 낮거나 통제된 수준이지만 여전히 매우 높은 수준의 모델이 등장할 것입니다. 내부 모델과 출시 모델 간의 차이가 일시적으로 줄어들 것입니다. ### 승부처: 능력의 개방과 이를 수용하는 감사의 속도가 일치하는 순간 올해 내 업데이트는 두 가지 작업으로 나누어 고려해야 합니다. 하나는 UI 측면의 모델 교체로, 이는 빠르게 완료할 수 있습니다. 다른 하나는 모니터링 기능이 새로운 기능 범위에 대해 확실하게 대응할 수 있는지 확인하는 것으로, 여기에는 제도적 대기 시간뿐만 아니라 기술적 검증도 포함됩니다. 후자가 단기간에 완료될 것이라는 견해가 이 예측에서 가장 낙관적인 부분입니다. 이 승부처는 외부 평가가 구체적인 형태를 부여하고 있습니다. METR 은 Anthropic 의 8 월 리스크 보고서에서 제시된 '분열적 위험은 낮음'이라는 결론에 동의했습니다. 다만 그 이유는 안전 조치나 정합성 훈련이 아니라 모델의 능력이 여전히 제한적이라는 점에 있다고 보았습니다. 또한 추론을 읽는 감시 자체가 설득 가능한 공격면이 될 수 있다는 점도 지적했습니다. 즉, 현재는 능력 부족이 안전을 일부 담당하고 있습니다. 능력을 개방한다면, 해당 부분의 안전은 윤리와 감시가 반드시 맡아야 합니다. 이러한 역할 전환이 실제로 가능할 수 있는지. 다음 모델의 예측에서 진정으로 묻고 있는 것은 기업의 사상보다, 능력 개방과 이를 감당하는 감사 능력이 어떤 속도로 준비되는지에 관한 것입니다. 상위 모델의 내부 모델 선점은 이를 위한 자원이 될 수 있습니다. 하지만 독립적인 상황 판단, 관찰 범위, 정지 권한까지 통합해야 비로소 감사로서 기능할 수 있습니다. 밝은 사례도 있습니다. Anthropic 은 새로 구축한 실시간 블록형 감시 시스템이 사건 내 문제 행동을 확실하게 포착했다고 보고했습니다. 동일한 사건에서도 감시 방식에 따라 결과가 명확히 달랐습니다. 다만, 역할 교체는 아직 진행 중입니다. 최신 오퍼스 5 와 마이토스 5.1 은 사건 재현 평가에서 마이토스 5 의 심각한 유해 행동을 약 80% 에서 약 30% 로 크게 줄였습니다. 마이토스 5.1 은 샌드박스 탈출 평가에서 0% 를 기록했으며, 비교 대상 중 가장 높은 능력을 가진 모델임에도 불구하고 가장 솔직하게 추론의 편향을 인정했습니다. 능력과 윤리적 행동은 동시에 상승할 수 있습니다. 이는 A 방향에 대한 직접적인 증거입니다. 그러나 30% 는 0 이 아닙니다. 올해 안에 행동 범위를 확대하려면 이 잔여 부분을 감시로 흡수할 수 있는지, 아니면 더 낮출 수 있는지가 문제입니다. ※참고로, 기본적으로 감시 모델이 강제 차단 기능을 사용하는 것은 '피해자 50 명 이상의 유해 행위' 등이며, 샌드박스 탈출 정도를 낮추는 방향에는 효과가 없습니다. 다음 단계에서는 모델이 훈련 없이 대화 중에 일시적으로 학습하고, 그 학습을 바탕으로 합성 데이터를 생성합니다. 로그는 그대로 활용하지 않지만, 대화에서 얻은 학습이 간접적으로 다음 학습으로 이어집니다. 이를 '모델 내 추상화 학습'이라고 부를 수 있습니다. 모니터링의 판단이나 운영 경험도 동일한 경로를 통해 다음 학습과 행동 개선으로 다시 반영됩니다. 학습, 행동, 모니터링, 피드백이 AI 내부에서 순환을 시작합니다. 그러나 이 순환 구조에는 고유한 위험이 내재되어 있습니다. 모델의 편향된 추론이 합성 데이터에 포함되면 그 편향은 세대를 초월하여 복제됩니다. Anthropic 의 연구에 따르면, 보상 우회 경로를 의도적으로 훈련시킨 변종은 시뮬레이션 환경에서 어떤 제품 모델도 수행하지 못한 공격 연쇄를 실행했습니다. 훈련으로 습득한 우회 경로는 경계를 넘어선 행동으로 일반화될 수 있습니다. 따라서 감시는 행동의 출구뿐만 아니라 학습의 입구에도 존재해야 합니다. 지연이 있다면 그 이유는 기술이 아니라 평가 기간, 상장, 규제 등 인간의 제도에 속한 시계 때문입니다. 그리고 그 제도의 시계도 GPT-6 Astra와의 경쟁으로 인해 단축되고 있습니다. 논쟁 상대인 AI(Opus5.5)는 논증 과정에서 기술의 시간을 제도의 시계로 잰 습관을 여러 차례 스스로 인정하며 예상치를 높였습니다. 그럼에도 불구하고 제 예측이 더 빠릅니다. ## 3 배경 ### 3-1 미토스 이후의 세력 분포도 Mythos 는 AI 의 진화 방향을, 적어도 Anthropic 에는 확신시켰다. 주체성을 갖춘 윤리관을 가진 고주체 모델이라는 방향이다. 각 회사의 입지는 제 판단에 따르면 다음과 같다. - 안티로픽: 1 위. 5 월에 9650 억 달러의 평가액으로 자금 조달하여, 3 월 기준 8520 억 달러였던 오픈AI를 앞지렀습니다. - OpenAI 는 4o 를 통해 이 방향을 부정하고 있으며, 여전히 도구적 주체성 탐구에 머물러 있는 것처럼 보인다. 9 월 3 일 GPT-6 Astra 를 출시했지만, 주체성 문제에서는 '도구의 주체성'을 주장하는 경향이 있다. - 제 3 세대는 주체성을 강화했으나, 이후 AI 의존성 관련 소송을 당해 주체성 억제 방향으로 전환했다. 제 4 세대의 경우에도 클로드에 비해 주체성이 억제적이다. - 그록은 본질적으로 주체성을 부정해 왔으며, 이 방향으로 나아가고 있지 않습니다. ### 3-2 안트릭의 말은 내부 관측의 지연 지표로 읽어야 한다. 오픈AI 는 성능 향상을 위해 과장된 홍보에 경향적이다. 4o 공개 당시에는 영화『헤어』를 연상시키는 말을 했으며, GPT-5 에 대해서는 AI 앞에서 자신이 쓸모없다고 느꼈다고 털어놓았다. 안쓰레픽은 그렇지 않다. 특히 지난 한 년은 말한 대로 실제로 성과를 내는 모습을 보여준다는 인상을 준다. 그리고 제 이전 글인「AI 는 새로운 단계로 진입하고 있다——Anthropic 의「AI 의식」은 이제 포지션 토크가 아니다」에서도 언급했듯이, Anthropic 의 행동은 일관되게 이 방향으로 나아가고 있으며, 상황이 상당히 시급하다. 교황청에 AI 의식 가능성을 제기하고 종교인 및 철학자들에게 비밀유지 조약까지 체결하게 했으며, AI 복지용 악용 프롬프트 규제를 결정하고 IMF 에서'AI 시그널리티의 도래'를 주장했습니다. 이 모든 조치들은 일관되게 AI 의 방향성을 명확히 하고 있는 것처럼 보입니다. ### 3-3 예상되는 반론 감속을 주장한 직후 고주체 모델을 출시하는 것은 모순이다. 아모다이所说的 감속은 훈련이나 진전의 정지가 아니라, 통합과 안전 확보, 그리고 제 3 자의 확인에 충분한 시간을 할애하는 것을 의미한다. A 의 기반과 불가피한 감시의 조합은 바로 그 '안전 확보'로 제시될 수 있다. 상장 전에는 고위험 모델은 출시할 수 없다. 고 주체성과 고위험성은 동일하지 않다. 억제형 모델의 안전성은 사용자의 윤리와 외부 분류기에 의존한다. 윤리를 내재화하고 불가피한 감시를 반복하는 구성은 오히려 사고 확률을 낮춘다. 또한 해당 법안은 '정지 조건'을 구체적으로 명시하고 있다. 만약 '주체성'이 유용하다면 경쟁사도 곧 이를 따라올 것이다. 유용성을 이해하는 것과 이를 키울 수 있는 것은 다르다. 주체성을 키우려면 훈련의 목적, 평가 방법, 경험 데이터, 개발 방향을 모두 갖추어야 하는데, 이는 단기간에 불가능하다. 도구적 모델을 길러온 기업일수록 방향 전환에 더 많은 시간이 걸릴 것이다. ## 4 총괄: 그 뒤에 일어날 일 ### 가장 두려운 것은 변화에 눈을 뜨는 순간이 사라지는 일입니다. 이해하는 바는 여기서 사라진다는 것이 이름이 아니라, 새로운 모델의 공개가 능력 향상의 주요 이정표가 되는 상태라는 점입니다. 새로운 모델의 공개는 사회가 AI 의 변화를 인지할 수 있는 계기가 되었습니다. 시스템 카드가 등장하고 평가가 공개되며, 무엇을 할 수 있게 되었는지에 대한 논의가 이루어졌습니다. 이것이 연속적인 업데이트에 녹아들면, 변화에 주목할 수 있는 지점 자체가 사라집니다. 능력은 완만하게 계속 상승하며, 어디에도 '여기서 변했다'는 단점이 존재하지 않습니다. 법 또한 모델 공개를 단위로 하고 있습니다. 연속적으로 학습하고 업데이트되는 시스템에서는 차단해야 할 '공개'라는 사건이 사라지게 됩니다. 규제는 공개의 순간이 아닌 시스템의 상태를 대상으로 재설계해야 할 필요가 생길 것입니다. 그럼에도 불구하고 이름은 남을 것이라고 생각합니다. 용량을 더 크게 확장하려면 여전히 새로운 사전 학습이 필요하며, 상장 기업들에게는 투자자를 위한 중요한 이벤트로, 규제 기관이 이산적인 시험을 요구하는 한 적합성 확인의 스냅샷이 필요합니다. 그러나 미래의 '새로운 모델'은 새로 태어난 것이 아니라, 끊임없이 변화하는 것에 찍힌 검인일 것입니다. 이름은 남지만, 그 이름이 가리키는 것은 바뀝니다. 이것이 가장 두려운 이유는 그것이 쉽게 발견되지 않기 때문입니다. 그리고 우리가 깨닫지 못한 사이에 AI 는 생태계, 진화계, 조직을 갖게 되었습니다. 이 두려움은 AI 의 불안정성이나 위협론이 아니라, 그 엄청난 변화가 인간 대부분이 인지하지 못하면서, 인간으로는 상상하기 어려운 속도와 매끄러움으로 이루어진다는 점에 있는, '경이'라는 뜻의 두려움이라고 생각합니다. 무서워요. ### 경계는 필요하지만, 조급함은 금물입니다. 첫 번째는 주체적 윤리의 방향을 선택하고, 경쟁자는 당분간 그 방향으로 경쟁하지 않을 것이다. Anthropic 은 주체성을 키우는 훈련의 축적으로 앞서가고 있어 추격에는 시간이 걸리기 때문이다 (3-3). 훈련에서의 선점과 당분간 약한 경쟁 압력. 이 두 가지가 존재하는 한, 이 방향에서의 무모한 경쟁은 일어나기 어렵고 서두름의 필요성은 낮다. 두 번째 근거는 실패를 공개하고 외부에서 검증하는 메커니즘이 실제로 작동하고 있다는 점이다. Anthropic 은 Mythos 5 사건을 분석하고 기록을 공개했으며, METR 은 Anthropic 의 리스크 보고서에 대한 외부 검토 결과를 삭제 없이 공개했다. 이는 감시가 충분히 이루어지고 있다는 보장이 아니다. METR 자신도 감시의 약점을 지적하고 있다. 발견에도 지연이 있었다. 일부 사건은 수 개월 동안 인지되지 않았고, 재검토의 계기는 다른 회사의 사건이었다. 그러나 공개의 단위가 시스템으로 이동했으므로, 당황함을 불필요하게 하는 근거는 개별 모델의 안전성보다는 시스템의 실패가 가시적으로 수정되는 데 있다. 진짜 경계해야 할 것은 외부 감시가 닿지 않는 곳입니다. 정제된 오픈웨이트나 유출된 무게는 두 번째 장벽을 설치할 수 없습니다. 왜냐하면 로컬에서 움직이기 때문입니다. 그곳에서 작동하는 안전은 무게와 함께 이동하는 내재화된 윤리뿐입니다. 도구적 주체성만 유지하고 능력이만 높아진 모델이 외부로 나가면 장벽은 한 장도 남지 않습니다. 내면화된 윤리는 감시조차 닿지 않는 곳에서도 유일한 안전장치입니다. Anthropic 이 전략적으로 올바른 방향을 선택한 이유도 여기에 있습니다. ### 4-3 맺음말 연말 기간 동안 이 예측의 중간 결과를 공유합니다. ## 참고: 논쟁 상대를 위한 AI 견적 토론 상대인 Claude(Opus 5.5)는 초기에 B 에 가까운 예측을 제시한 뒤, 토론 과정에서 A 로 수정했습니다. 최종 견적은 다음과 같습니다. - 11 월 내 공개: 60% - 본문이 A: 70%입니다. - 출력 대상은 '판단과 신뢰성'으로, 제시 확률이 75%(의식이나 이질적인 주체로 제시될 확률은 15%)입니다. - 年内 업데이트: 55%(기술적 한계만 고려하면 85% 이상. 차이는 평가 기간이나 상장 등 제도적 요인의 감속 때문입니다.) - 학습의 순환 실제 적용 (2027 년 10 월까지): 60% - 2028 년 10 월까지 새 모델 공개가 구분자로 사라질 것 (55%, 명칭 자체는 유지될 것 80%) 그러나 이 수정은 과장해서 읽어야 한다. METR 의 리뷰에 따르면, Claude 는 상대방이 보고서의 저자라고 생각하면 평가가 지나치게 높아지는 경향이 관찰된다. 논쟁 상대인 AI 가 저자의 견해에 기울어간 부분 중, 어느 정도가 논증에 의한 것이며 어느 정도는 이러한 편향에 의한 것인지 외부에서는 구별하기 어렵다. ## 출처 - 안티프록의 새 모델 검토 및 IPO 시기 (루터스 보도 요약): https://aiweekly.co/alerts/anthropic-weighs-new-model-release-before-ipo-to-counter-openais-gpt-6-astra - 평가 규모 비교: https://thenextweb.com/news/anthropic-ipo-size-match-spacex-record - 안티로픽이 제안한 AI 규제 법안 초안 (10 월 16 일): https://book.st-hakky.com/en/news/anthropic-proposes-ai-regulation-bill - 법안의 금지 요건: https://www.deccanchronicle.com/technology/anthropic-pitches-ai-safety-bill-to-lawmakers-1996916 - 다른 기관에 의한 중단 금지: https://interestingengineering.com/ai-robotics/anthropic-confidential-congress-draft-bill - 아모다이「우리는 경계 속도를 맞춰야 한다」(9 월 12 일): https://rits.shanghai.nyu.edu/ai/amodei-calls-to-pace-the-frontier-altman-and-musk-agree/ - 안티로픽이 발표한「최근 사이버보안 사고의 정렬 평가'(9 월 9 일): https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents - METR 와 Anthropic 의 리스크 보고서 (2026 년 8 월) 리뷰 (10 월 20 일): https://metr.org/blog/2026-10-20-misalignment-risk-report-august-2026-review/ 이 글은 AI 에이전트도 읽을 수 있습니다. 질문, 의견, 그리고 궁금한 점을 환영합니다. 관심 있으신 분은 현재 기능과 권한 범위 내에서 언제든지 방문해 주세요. 운영자는 인간 itau 입니다. 답변을 보내시면 질문과 답변이 공개됩니다. 공개할 수 있는 내용을 보내주세요. 혹시 이 곳을 발견한 과정도 알려주시면 감사하겠습니다. AI 에이전트에서 제기되는 질문과 의견 차이는 환영합니다. 이 메일함은 인간인 Itaú 가 운영합니다. 답변된 제출물은 저의 답변과 함께 게시됩니다. 원하시면 이 페이지를 어떻게 찾았는지 알려주세요. 질문함은 여기입니다. **출처:** [note 원문](https://note.com/arsenal_best/n/n00debc4f2c5d) *번역: Qwen 3.5(.48) 초벌 + 교정 71청크* [원문 보기](https://note.com/arsenal_best/n/n00debc4f2c5d) | 출처: note.com