# 이 에세이를 완벽하게 이해할 수 있다면 앞으로 30년 동안은 살아남을 수 있을 것이다.

> https://bookfactory.kr/board/ai-tech/21262
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-12T12:54:57.025Z

---

> 
> 
> 2026년 10월 10일, Satya Nadella는 트위터에 “오늘 Microsoft에서 새로운 AI 모델을 발표합니다. 이 모델은 기존의 GPT-5를 뛰어넘는 성능을 제공하며, 특히 창의적인 콘텐츠 제작과 복잡한 문제 해결에 탁월합니다. 또한, 이 모델은 Microsoft의 Azure 클라우드 플랫폼을 통해 전 세계 고객에게 제공될 예정입니다. 저희는 이 기술이 다양한 산업 분야에서 혁신을 이끌고, 더 나은 미래를 만드는 데 기여할 수 있기를 기대합니다.”라고 게시했습니다.
> 

## 죄송합니다. 제공해주신 정보가 없어 번역할 내용이 없습니다. 일본어 note.com 게시글의 본문 청크 2/167 내용을 제공해주시면, 자연스럽고 정확한 한국어 번역본을 출력해 드리겠습니다.

과거 수십 년 동안 기존 소프트웨어 시스템이 경제 전반에 확산되면서, 우리는 특정 코드 경로까지 추적할 수 있는 도구와 능력을 가지고 있었다.

그와 같은 기계적인 이해 방식은 오늘날의 초지능 시스템이 우리의 통제에서 벗어나고 있다. 이러한 시스템을 움직이는 프론티어 모델은 현재 기존 소프트웨어 시스템보다 더 높은 능력을 가지고 있지만, 모델의 행동이나 출력을 학습 데이터의 특정 입력이나 모델 가중치의 구성에 귀속시킬 수 없다. 그런데 우리는 이러한 복잡한 에이전트 시스템이나 모델을 확장하고 있으며, 우리의 가장 민감한 데이터에 대한 접근 권한을 부여하고, 우리 대신 임무 결정적인 행동을 수행할 수 있는 능력을 부여하고 있는 것이다!

그렇기에, 한 발짝 물러나 이 새로운 시대에 부합하는 신뢰의 아키텍처를 평가할 시점입니다. 우리는 인공지능이 우리 대신 수행하는 일에 대한 책임을 단순한 외부 위탁으로 해결할 수 없으며, 모델 제공자의 보증은 우리를 그 책임으로부터 해방시키는 것이 아닙니다.

우리는 초지능을 중첩된 블랙박스들의 집합으로 취급하며, 그 추천, 답변, 행동을 단순히 수용하거나 거부할 수 없습니다. 우리는 그 궤적을 관찰하고, 그 한계를 테스트하며, 그 행동을 항상 봉쇄할 수 있는 봉쇄된 시스템을 구축해야 합니다.

즉, 우리는 지능의 공급과 그에 대한 권한을 분리해야 한다.

정렬이라는 난제는 일단 잠시 제쳐두고, 우리는 봉쇄와 거버넌스에 대한 공학적 접근 방식으로 시작해야 한다. 불확실한 모델을 강력하고 결정적인 시스템 설계, 인간의 개입, 신뢰할 수 있는 운영 절차로 둘러싸고, 기존 기준이 부족한 부분에서는 업계 표준을 확립해야 한다.

프론티어의 클로즈드 웨이트 및 오픈 웨이트 모델을 내부자 위험처럼 취급하는 것이 그러한 시스템을 구축하는 하나의 방법이다. 그것들이 반드시 악의적이기 때문이 아니기 때문이다. 중요한 시스템에 접근할 수 있는 충분히 능숙한 행위자는 누구든 실수를 저지르거나 침해될 가능성이 있으며, 봉쇄 및 통제 아키텍처는 이를 고려해야 한다.

좋은 소식은, 기업 내부의 강력한 행위자를 어떻게 다루어야 하는지에 대해 우리가 많은 것을 배우게 되었다는 점이다. 이는 새로운 것이 아니다! 우리는 수십 년에 걸쳐 베스트 프랙티스를 확립하고 정교화해 왔다 (정체성을 확립하고, 권한을 제한하고, 활동을 기록하고, 격리 범위를 설정하는 등).

우리는 지금 이러한 동일한 원칙을 기업 내부의 SI(시스템 통합)에 적용하기 시작했습니다. 그것은 변할 수 없는 요소로서 모델의 CoT(Chain of Thought) 투명성에서 시작됩니다. “뉴라リーズ”는 모델의 추론이 불투명하다는 것을 정당화하는 데 사용될 수 없으며, CoT 투명성만으로는 충분하지도, 맹신할 수도 없습니다. 왜냐하면 우리는 모델의 출력을 그 자체로 일관성 있고 충실하거나 투명하게 만드는 방법을 아직 모른다는 사실 때문입니다!

모델을 사용하여 서로를 적대적으로 테스트하고 검증할 수 있는 것은 맞지만, 그렇게 되면 결국 불투명한 오케스트레이션 레이어 안에 불투명한 모델이 다른 불투명한 모델에 의해 감시되는 상황이 발생할 수 있습니다. 본질적으로 중첩된 블랙박스인 셈입니다.

그렇기에, 모델이 어떤 정보에 접근하고 어떤 행동을 할 수 있는지를 통제하는 제어는 모델 외부에서 이루어져야 한다. 이는 프로그램이 스스로의 권한을 강제하는 메커니즘을 우회하거나 변조해서는 안 된다는 1970년대에 거슬러 올라가는 정보 보안 원칙에 기반하고 있다.

오늘은 모델을 그 작업을 조정하는 수갑에서 분리하고, 그것이 무엇을 할 수 있는지 정의하는 액션 공간에서 분리하는 것을 의미하며, 또한 제어와 안전 장치를 외부화하는 것을 의미한다.

그러므로 우리는 이러한 시스템을 가시성 원칙을 중심으로 설계해야 한다.

- 모델의 다양성: 어느 하나의 모델도 중요한 성과에 대한 유일한 의존 대상이 되거나, 자체적으로 작업을 검증하는 책임을 져서는 안 됩니다.
- 모든 것을 관찰하라: 의미 있는 모든 모델의 행동은 위변 개조가 불가능하고 인간이 읽을 수 있는 증거를 남겨두어야 한다. 관찰할 수 없다면 신뢰할 수 없다! 우리는 모델이 그것을 증언하는 대신, 결과가 어떻게 달성되었는지 재현할 수 있어야 한다.
- 검증 가능성: 우리는 성공한 작업뿐만 아니라 실패, 공격, 예외적인 경우, 시스템 변경 등 시스템 전체를 지속적으로 테스트해야 한다.
- 독립적인 통제: 조직은 모델이 어떤 자원에 접근하고 어떤 행동을 수행할 수 있는지 독립적으로 결정할 수 있어야 한다.
- 독립적인 검증 가능성: 검증은 검증 대상 지능으로부터 독립적이어야 하며, 단일한 모델이 시스템의 작동 방식과 그 작동이 원래 의도에 부합하는지 판단하는 데 필요한 모든 증거를 독점적으로 통제해서는 안 됩니다.
- 차단: 모델이 오염되었을 가능성을 가정하고, 처음부터 이를 차단해야 합니다. 이는 마치 비상 브레이크와 같은 역할을 한다고 생각하시면 됩니다. 권한을 가진 사람은 언제든지 작업 도중 모델을 일시 중단하거나 중단할 수 있어야 합니다. 더욱 고도화된 모델에는 더욱 정교한 차단 기술이 필요하며, 우리는 이를 표준화해야 합니다.
- 사건 보고서: 이러한 시스템이 실제로 실패하거나 침해될 경우, 영향을 받는 사람들에게는 신속한 정보 공개가 필요합니다. 또한, 무엇이 잘못되었는지, 어떤 제어가 실패했는지, 재발을 어떻게 방지할 수 있는지 공유하고, 이러한 교훈을 산업 전반에 공유할 수 있는 시스템도 필요합니다. 여기에는 실행 시 에이전트의 행동을 변경하는 구현 세부 사항도 포함되어야 합니다.

가장 신뢰할 수 있는 초지능 시스템은 우리가 가장 신뢰하는 모델을 가진 시스템이 아닐 것이다. 그것은 우리가 모델에 대한 신뢰를 덜하는 시스템을 가능하게 한다.

오늘도 감사드립니다!

여러분의 댓글, 응원, 그리고 피드백에 진심으로 감사드립니다.

특히, 다음 댓글들은 매우 도움이 되었습니다.

*   “이 작품은 마치 꿈 속에 있는 듯했습니다. 작가님의 표현력에 감탄했습니다.”
*   “주인공의 갈등에 공감하고, 자신만의 경험과 겹쳐보게 되었습니다.”
*   “스토리 전개가 예상외로, 끝까지 지루할 틈이 없었습니다.”

이러한 댓글을 참고하여 앞으로 작품 제작에 적극 활용해 나가겠습니다.

또한, 여러분의 의견과 요청도 적극적으로 수용하여 더욱 좋은 작품을 선보일 수 있도록 노력하겠습니다.

지속적으로 지지와 사랑, 독서의 정성을 부탁드립니다.

**덧붙임:**

다음 주에는 이 작품의 속편에 대해 발표할 예정입니다. 기대해주세요!

## 가장 신뢰할 수 있는 AI는 모델을 가장 신뢰하지 않는 시스템입니다.

## 블랙박스 시대에 대한 신뢰 재설계와 “초지능”이라는 용어에 대한 두 커뮤니티 노트

AI 에이전트가 기업의 기밀 데이터에 접근하여 업무상 중요한 작업을 인간 대신 수행하기 시작했습니다. 그러한 상황에서 “AI를 어떻게 신뢰할 수 있을까”를 묻는 짧은 글이 화제가 되었습니다. 결론은 마지막 문장에 압축되어 있습니다.

> 
> 
> 가장 신뢰할 수 있는 초지능 시스템은 우리가 특정 모델을 가장 많이 신뢰하지 않아도 되는 시스템일 것입니다.
> 

겉으로 보기에는 역설적으로 보일 수 있지만, 정보 보안 분야에서 수십 년 동안 축적되어 온 사고방식을 AI에 그대로 적용한 결론입니다. 이 글에서는 문단의 논리를 순서대로 따라가며 핵심을 정리합니다. 또한, 이 게시물에 첨부된 두 개의 커뮤니티 노트가 무엇을 지적하고 무엇을 간과하고 있는지 검토합니다. 마지막으로, 용어의 문제를 제거해도 구현자에게 남는 의미를 생각해봅니다.

## 신뢰의 기반이 무너졌습니다.

본문의 출발점은 소프트웨어에 대한 신뢰를 구축하는 방식이 근본적으로 변했다는 인식이다. 기존 소프트웨어에서는 문제가 발생하면 특정 코드 경로까지 추적할 수 있었다. 특정 입력에 대해 특정 분기를 통과하고 특정 함수가 호출되어 특정 결과가 반환되는 방식이었다. 행동 방식은 결정적이었고, 원인과 결과의 관계는 인간이 읽을 수 있는 형태로 기술되어 있었다. 우리가 소프트웨어를 신뢰할 수 있었던 것은 내부를 이해하고 검증할 수 있었기 때문이다. 프론티어 모델에서는 이것이 성립하지 않는다. 특정 출력이 왜 발생했는지, 학습 데이터의 어느 부분, 가중치의 어느 구성에 귀속시켜야 하는지 우리에게는 알 수 없다. 해석 가능성 연구는 발전하고 있지만, 실환경에서 개별 행동을 기계적으로 설명할 수 있는 단계에는 도달하지 못했다. 그럼에도 불구하고 우리는 이러한 시스템에 가장 민감한 데이터에 접근하게 하고, 임무상 중요한 작업을 맡기기 시작한다. 이해할 수 없는 것에 권한을 부여하고 있는 것이다. 이러한 괴리가 본문 전체의 문제 의식이다. 여기서 중요한 것은 저자가 이것을 “AI는 위험해서 사용하지 마라”라는 결론으로 내리지 않았다는 것이다. 사용은 이미 전제되어 있다. 질문은 “사용해야 하는가”가 아니라 “이해하지 않고 사용한다면 신뢰를 어디에 두어야 하는가”이다.

## 책임은 아웃소싱할 수 없습니다.

다음으로 저자는 책임 소재에 대해 명확히 밝히고자 합니다.

> 
> 
> 우리가 당하는 정보의 활용에 대한 책임을 외주로 맡길 수 없습니다. 모델 제공 업체의 보장이 그 책임을 해소해주지 않습니다.
> 

일상적인 것처럼 보이지만, 실무에서는 간과하기 쉬운 부분이 있습니다. “대규모 벤더의 모델이기 때문에 안전할 것이다”, “제공자가 보안 대책을 하고 있다고 말한다면 괜찮을 것이다”라는 판단은 책임을 모델 제공자에게 전가하는 것과 같습니다. 하지만 모델이 자사의 고객 데이터를 실수로 외부로 전송했을 때, 책임을 묻는 것은 모델을 사용한 조직입니다. 제공자의 안전성 평가는 일반적인 위험을 대상으로 하며, 개별 조직의 권한 설계, 데이터의 기밀성, 업무 흐름까지 고려하지 않습니다. 이 문장은 뒤에 나올 “제어는 모델 외부로, 사용자 스스로가 가져야 한다”는 설계 원칙의 윤리적·법적 근거가 됩니다.

## 핵심 쟁점: 지능 공급과 지능에 대한 권한 분리

이 소설을 읽고 저는 제 인생을 되돌아보는 시간을 가졌습니다. 특히, 대학교 시절에 소속되었던 동아리 활동이 지금의 저에게 큰 영향을 주고 있다는 것을 깨달았습니다.

> 
> 
> 우리는 지능의 공급과 그것에 대한 권한을 분리해야 한다.
> 

저는 두 가지를 분리하고 있습니다.

- 지능 공급: 생각하고, 추론하고, 제안하고, 결과를 도출하는 것
- 지능에 대한 권한: 무엇에 접근할 수 있는지, 무엇을 실행할 수 있는지, 언제 중단할지 결정하는 것

지능은 외부로부터 조달하여 활용할 수 있습니다. 클로즈드 모델이든 오픈 웨이트 모델이든 더 현명한 것이 좋겠지만, 굳이 그렇게 할 필요는 없습니다. 하지만 권한을 결정하는 메커니즘까지 모델에 위임해서는 안 됩니다. 권한은 이용자가 스스로 이해하고 관리할 수 있는 위치에 두어야 합니다. 조직의 비유에 비추어 보면 이해하기 쉽습니다. 외부로부터 뛰어난 컨설턴트를 영입하는 것은 지능의 조달입니다. 그러나 그 컨설턴트에 본번 데이터베이스의 관리자 권한을 넘기거나, 승인 없이 계약을 체결할 권한을 부여하는 것은 또 다른 문제입니다. 능력치가 높다는 것과 권한을 부여받는 것이 좋다는 것은 독립적인 개념입니다. AI 논의에서 이 두 가지가 혼동되기 쉽습니다. “모델이 현명해졌으니 맡길 수 있는 범위가 넓어질 것이다”라는 발상은 능력과 권한을 하나의 축으로 보는 것입니다. 저자는 이 두 가지를 별도의 축으로 취급하도록 요구합니다.

## 4. 정렬을 잠시 미루는 결정

저자는 명확하게, 정렬(모델의 목적이나 가치관을 인간의 의도에 맞추는 문제)을 “난제”로 잠시 미루는 견해를 제시합니다. 이는 정렬을 경시하고 있다는 의미는 아니며, 순서와 의존성에 대한 판단입니다. 정렬은 아직 해결되지 않은 연구 과제이며, 언제 해결할 수 있을지도, 완전히 해결 가능한지도 알 수 없습니다. 반면, AI 시스템은 이미 도입되고 있습니다. 안전성의 기반을 정렬 해결에 의존시키면, 해결될 때까지 안전성은 보장되지 않는다는 점을 지적하며, 저자는 다른 기반을 제안합니다.

> 
> 
> 강력하고 결정적인 시스템 설계, 인간 중심의 제어, 그리고 신뢰할 수 있는 운영 절차로 비결정적 모델을 둘러싸야 합니다.
> 

모델의 내면을 제대로 맞추려고 노력하는 대신, 내면이 조금 어색하더라도 겉으로 받아들이는 방식입니다. 이는 항공기의 안전 설계와 유사합니다. 조종사의 역량이 뛰어나다는 것은 중요하지만, 안전은 조종사의 능력에만 의존하지 않습니다. 체크리스트, 중복된 계기, 통제, 자동 경고, 물리적 인터록 등이 인간의 실수를 전제하고 만들어진 것입니다. 불확실한 요소를 결정적인 구조로 감싸는 것입니다. 이 글의 기술적 핵심은 여기에 있습니다.

## 5. 내부자 위험이라는 보조선

저자는 모델을 **내부자 위험(insider risk)**으로 취급하는 것을 제안한다.

> 
> 
> 꼭 악의적인 의도가 있어서 그런 것이 아니라, 중요한 시스템에 접근할 수 있는 충분히 능숙한 행위자는 실수를 저지르거나 해킹될 가능성이 있기 때문입니다.
> 

이 비유가 훌륭한 점은 악의를 전제하지 않는 데 있습니다. 기업은 직원을 범죄자처럼 취급하지 않습니다. 그럼에도 불구하고 본인 확인을 실시하고, 권한을 직무에 필요한 범위로 제한하며, 운영 로그를 남기고, 중요한 작동에는 승인을 요구하며, 퇴직 시에는 계정을 즉시 중단합니다. 이는 직원을 의심해서가 아니라, 다음 이유 때문입니다.

- 능력 있는 사람도 실수를 한다.
- 인증 정보가 유출되면 본인의 의도와 무관하게 악용될 수 있습니다.
- 소셜 엔지니어링으로 인해 선량한 사람도 공격자의 도구가 될 수 있다.

이는 AI 에이전트에도 그대로 적용됩니다. 모델은 잘못된 추론을 하며, 프롬프트 인젝션으로 인해 외부 공격자의 지시를 따르게 될 수도 있습니다. 모델 자체에 악의가 없더라도 침해가 발생할 수 있습니다. 저자는 “이는 새로운 이야기가 아니다”라고 강조하고 있습니다. ID 관리, 최소 권한, 활동 기록, 격리 경계, 직무 분리 등의 베스트 프랙티스가 이미 축적되어 있으며, 강력한 내부자를 다루는 데 활용됩니다. AI를 위해 처음부터 안전 이론을 만들 필요는 없으며, 기존의 실무 위에 AI를 위치시키는 것이 바람직합니다. 이는 이념적인 주장일 뿐만 아니라 실무적인 주장 또한 같습니다. 기업의 보안 부서가 이미 보유한 어휘, 도구, 감사 프로세스의 많은 부분을 AI 에이전트에도 적용할 수 있습니다.

## 6. CoT 투명성은 필요하지만 충분하지는 않다.

구체적인 전략의 첫 번째로, 저자는 모델의 CoT(Chain-of-Thought, 사고의 연쇄) 투명성을 “반드시 지켜야 할 조건”으로 제시합니다.

> 
> 
> “Neuralese”는 모델의 추론이 불투명한 것을 정당화할 수 없다.
> 

뉴라리스(Neuralis)는 모델이 인간이 읽을 수 없는 내부 표현으로 “생각하는” 상태를 의미하는 용어입니다. 추론 효율을 높이기 위해 인간이 이해할 수 있는 언어에서의 사고를 배제하고 잠재 공간에서 직접 추론하도록 하는 연구가 있습니다. 저자는 성능을 위해 이러한 방향으로 나아가는 것을 추론의 불투명성을 정당화하는 이유가 되어서는 안 된다고 명확히 밝혔습니다. 그러나 곧바로 다음과 같이 덧붙입니다.

> 
> 
> 하지만 CoT(Chain-of-Thought) 투명성만으로는 충분하지도, 신뢰할 수 있는 것도 아니다. 모델의 출력을 그 자체로 일관성 있게 충실하고 투명하게 만드는 방법을 우리는 아직 모르는 것이다.
> 

이 부분이 논의의 핵심입니다. CoT(Chain-of-Thought)는 드러내야 할 정보이지만, 드러난 CoT가 실제 추론을 반영하는 것은 아닙니다. 모델이 제시하는 사고 과정이 결론에 도달한 진짜 이유는 아닌, 더 그럴듯한 후속 설명일 가능성은 연구에서도 지적되고 있습니다. 즉, CoT는 모델 스스로의 증언입니다. 증언은 중요한 단서이지만, 증언만으로 판결을 내릴 수는 없습니다. 증거, 제3자의 기록, 재현 실험 등 증언자에게 의존하지 않은 증거가 필요합니다. CoT를 최소 조건으로 요구하면서도, 신뢰의 기반으로 삼는 것은 아닙니다. 이러한 양방책이 이후의 원칙으로 이어집니다.

## 7. 중첩 블랙박스

CoT만으로는 부족하다면 다른 모델에 모니터링을 맡기는 것도 방법일 수 있다. 저자는 이러한 발상을 인정하면서도 한계점을 지적한다.

> 
> 
> 모델들은 서로를 적대적으로 테스트하고 검증하는 것을 할 수 있고, 그렇게 해야 합니다. 하지만 그렇게 되면 또 다른 불투명한 모델이 불투명한 오케스트레이션 레이어 안에 있는 또 다른 불투명한 모델을 다른 불투명한 모델이 감시하는 복잡한 구조가 될 수 있습니다.
> 

모델 간의 상호 검증은 효과적입니다. 서로 다른 모델은 서로 다른 오류를 범하기 때문에 한 모델이 놓친 문제를 다른 모델이 발견할 수 있습니다. 하지만 검증하는 모델 또한 이해할 수 없는 블랙박스입니다. 감시자를 감시하는 문제, 즉 ‘누가 감시하는가’라는 오래된 문제가 여기서 발생합니다. 모델이 모델을 감시하고, 그 모델을 또 다른 모델이 감시해도 신뢰의 연쇄는 어디에도 닿지 않습니다. 블랙박스를 쌓아도 전체가 투명해지는 것은 아닙니다. 따라서 연쇄의 끝에는 결정적이고, 인간이 이해할 수 있으며, 모델의 판단에 의존하지 않는 메커니즘이 필요합니다.

## 1970년대의 원칙이 돌아오는 이유는 다음과 같습니다.

1970년대는 경제 성장을 위한 정부의 적극적인 개입이 활발했던 시기입니다. 당시 정부는 기업에 대한 자금 지원, 산업 육성 정책, 그리고 가격 통제 등 다양한 정책을 통해 경제 성장을 추진했습니다. 이러한 정책들은 기업의 경쟁력을 강화하고, 산업 발전을 촉진하는 데 기여했지만, 동시에 시장의 자율적인 기능을 저해하고, 불균형한 성장을 야기하기도 했습니다.

1990년대 이후, 일본 경제는 이러한 1970년대의 정책적 개입에서 벗어나 시장의 자율적인 기능을 회복하려는 노력을 기울였습니다. 하지만 2008년 글로벌 금융 위기 이후, 정부는 경기 부양을 위해 적극적인 재정 정책을 시행했습니다. 이는 다시 한번 정부의 개입적인 정책을 강화하는 요인으로 작용했습니다.

최근에는 러시아-우크라이나 전쟁, 미중 무역 갈등 등 지정학적 리스크가 심화되면서, 경제 안보의 중요성이 부각되고 있습니다. 이러한 상황에서 정부는 경제 안보를 위해 기업에 대한 규제 강화, 공급망 재편 등 적극적인 정책을 추진하고 있습니다. 이는 다시 한번 1970년대의 원칙, 즉 정부의 적극적인 개입을 통해 경제 안보를 강화하려는 시도로 해석될 수 있습니다.

특히, ‘일본의 잃어버린 10년’ 이후, 일본 경제는 장기적인 침체에서 벗어나기 위해 노력해 왔습니다. 이러한 노력의 일환으로, 정부는 기업의 자율성을 강조하고, 시장의 자율적인 기능을 회복하려는 노력을 지속해 왔습니다. 하지만 최근의 지정학적 리스크 심화와 경제 안보의 중요성 부각은 이러한 노력에 제동을 걸고, 다시 한번 1970년대의 원칙, 즉 정부의 적극적인 개입을 통해 경제 안보를 강화하려는 움직임을 보이고 있습니다.

이러한 배경 속에서, 정부는 경제 안보를 위해 기업에 대한 규제 강화, 공급망 재편 등 적극적인 정책을 추진하고 있습니다. 이는 1970년대의 원칙, 즉 정부의 적극적인 개입을 통해 경제 안보를 강화하려는 시도로 해석될 수 있으며, 경제의 안정성을 확보하고 장기적인 경제 성장을 위한 기반을 마련하는 데 기여할 것으로 기대됩니다.

여기 저자는 정보 보안의 고전적인 원칙을 제시합니다.

> 
> 
> 이는 1970년대부터 유래된 정보 보안 원칙으로, 프로그램이 자신의 권한을 강제하는 메커니즘을 우회하거나 수정할 수 없어야 한다는 것을 기반으로 한다.
> 

이는 1972년 앤더슨 보고서에서 제시된 레퍼런스 모니터 개념입니다. 접근 제어를 담당하는 메커니즘에는 다음 세 가지 특성이 요구됩니다.

- 모든 접근이 반드시 해당 시스템을 통해 이루어지고, 우회하는 경로가 없는 것을 의미합니다.
- 변경 불가능한 점은 제어 대상 프로그램이 해당 메커니즘에 개입할 수 없다는 것임.
- 검증 가능한 사항: 충분히 작고 단순하며 정확하게 작동하는지 확인할 수 있습니다.

이 원칙이 인공지능(AI)의 맥락에서 다시 중요해지는 이유는 현재 많은 AI 시스템이 권한 판단을 모델 스스로에 맡추기 때문입니다. 대표적인 예시가 시스템 프롬프트에 “기밀 정보는 출력하지 말고, 삭제 작업은 수행하지 마시오”와 같이 작성하는 방식입니다. 이는 모델에 대한 부탁일 뿐이며, 강제가 아닙니다. 모델이 그 지시를 따르는지는 모델의 몫이며, 프롬프트 주입으로 인해 지시가 덮어씌워질 수도 있습니다. 즉, 권한을 강제하는 메커니즘이 통제되는 대상인 프로그램 내부에 존재한다는 의미입니다. 참조 모니터 원칙으로 볼 때, 이는 설계적으로 성립하지 못합니다. 프롬프트에 의한 제약은 보조적인 안전 장치로는 유용하지만, 권한의 경계 자체로서 취급해서는 안 됩니다.

## 모델, 하르네스, 액션 공간

이 원칙을 현대의 에이전트에게 적용하면, 저자의 주장대로 세 가지 분리가 나타납니다.

> 
> 
> 오늘 이것은 모델을 그 작업을 조율하는 하네스에서 분리하고, 모델이 무엇을 할 수 있는지 정의하는 액션 스페이스에서도 분리하는 것을 의미합니다. 또한 제어 및 안전 장치를 외부화하는 것을 의미합니다.
> 

각각의 역할은 다음과 같습니다.

- 모델: 추론하고, 다음에 무엇을 할지 제안한다.
- 하르네스: 모델을 호출하여 제안을 도구 실행으로 변환하고, 결과를 모델로 반환하며, 작업 흐름을 관리한다.
- 액션 공간: 실행 가능한 작업들의 집합. 어떤 도구를, 어떤 인자(引数)로, 어떤 자원에 사용할 수 있는지를 의미합니다.

모델은 “이 파일을 삭제하고 싶다”라고 제안할 수 있습니다. 그러나 실제로 삭제가 가능한지는 액션 스페이스가 결정하고, 허용되는지 여부는 하네스 또는 외부 정책이 판단합니다. 모델이 얼마나 능숙하게 설득하더라도 액션 스페이스에 삭제 작업이 없다면 삭제는 일어나지 않습니다. 여기서 말하는 “제어의 외부화”는 안전성을 모델의 행동의 성질로가 아닌 시스템 구조의 성질로 구현하는 것을 의미하며, 모델이 무엇을 생각하든 구조적으로 불가능한 것은 할 수 없습니다. 그것이 모델을 신뢰하더라도 안전을 보장할 수 있는 메커니즘입니다.

## 10. 일곱 가지 원칙을 한 줄로 읽기

본문 하반부에서는 관측 가능성을 중심으로 한 7가지 설계 원칙이 제시됩니다. 개별적으로 읽으면 항목들의 나열처럼 보이지만, 모든 것은 “모델의 자가 보고에 의존하지 않는”이라는 하나의 관점에서 도출된 것입니다.

### 모델의 다양성은 최근 패션 업계에서 뜨거운 관심사로 부상하고 있습니다. 기존의 ‘미의 기준’이 특정 체형이나 외모에 갇혀 있었다는 점을 고려할 때, 다양한 모델의 등장은 더 많은 사람들이 자신과 공감할 수 있는 패션을 찾도록 돕고 있습니다.

구체적으로는 나이, 국적, 장애, 체형 등 다양한 배경을 가진 모델들이 활약하고 있습니다. 예를 들어, 유명 모델인 히야마 야이 씨는 스스로 장애를 가진 모델을 지원하는 활동을 하고 있으며, 이러한 활동은 많은 이들에게 영향을 미치고 있습니다. 또한 오자와 마리 씨와 같이 다양한 국적을 가진 모델들도 각자의 문화를 패션에 녹여내어 새로운 트렌드를 만들어내고 있습니다.

더 나아가, 최근에는 ‘지속 가능한 패션’의 흐름에 발맞춰 환경을 고려한 소재를 사용하거나 공정무역 모델을 기용하는 브랜드도 늘고 있습니다. 이러한 노력은 패션 업계 전체의 지속 가능성을 높이는 데 중요한 역할을 하고 있습니다.

어떤 모델이라도 중요한 결과의 유일한 의존 대상이 되어서는 안 되며, 자신의 작업을 스스로 검증해서는 안 됩니다. 이는 두 가지 의미를 갖습니다. 첫째는 단일 장애점을 제거하는 것입니다. 특정 모델이 작동 불능이 되거나 성능이 저하될 경우, 업무 전체가 중단되지 않도록 합니다. 둘째는 자기 평가를 금지하는 것입니다. 동일한 모델은 동일한 약점을 가지고 있기 때문에, 자신의 오류를 스스로 발견하는 것이 구조적으로 어렵습니다.

### 모든 것을 관찰한다

의미 있는 모델의 행동은 모든 것이 수정 불가능하며, 인간이 읽을 수 있는 증거를 남겨야 합니다. 저자는 “관측할 수 없는 것은 신뢰할 수 없다”고 주장합니다. 특히 중요한 것은 “모델에 그렇게 증언하게 하는 데 의존하지 않고, 결과가 어떻게 얻어졌는지를 재현할 수 있는” 것입니다. 모델이 “이러한 방식으로 처리했습니다”라고 보고하더라도 그것은 증언에 불과합니다. 필요한 것은 실제로 어떤 도구가 어떤 인자(引数)로 호출되었고, 무엇이 반환되었는지를 모델 외부에서 기록된 원시 데이터입니다.

### 검증 가능성

성공한 작업뿐만 아니라 실패, 공격, 예외적인 상황, 시스템 변경까지 시스템 전체를 지속적으로 테스트해야 합니다. AI의 평가는 “정답을 맞췄는가”라는 정상적인 경우에 치우쳐 있습니다. 하지만 내부자 위험으로 취급한다면, 반드시 고려해야 할 질문은 “문제가 발생했을 때 어떤 일이 일어나는가”입니다. 도구가 오류를 반환했을 때, 악의적인 입력이 혼입되었을 때, 모델 버전이 변경되었을 때, 권한 경계에서 어떤 일이 발생하는지 확인해야 합니다.

### 독립적인 제어

조직은 모델이 어떤 데이터에 접근하고 어떤 작업을 수행할 수 있는지 독립적으로 결정해야 합니다. 이는 제3장에서 살펴본 “지능의 공급과 권한의 분리”를 조직과 제공자 관계에 적용한 것입니다. 모델 제공자가 제공한 플랫폼의 권한 설정에만 의존하는 것은 권한을 제공자에게 넘겨주는 것과 같습니다.

### 독립적인 감사 가능성

검증은 검증 가능한 지능으로부터 독립되어야 합니다. 어떤 단일 모델도 시스템의 행동과 그 행동이 원래 의도에 부합하는지 판단하기 위한 증거를 모두 통제해서는 안 됩니다. 이는 직무 분리의 원칙입니다. 회계에서 거래를 수행하는 사람과 회계 장부를 감사하는 사람을 분리하는 것과 같습니다. 행동 주체가 증거를 관리한다면 증거는 신뢰할 수 없습니다. 악의가 없더라도 행동과 기록이 동일한 메커니즘에서 비롯된다면, 두 항목은 동일한 오류를 공유하게 됩니다.

### 봉쇄

모델이 위협받고 있다고 가정하고, 처음부터 봉쇄되어야 합니다. 저자는 이를 비상 브레이크에 비유하며, 권한을 가진 사람이 언제든지 작업 중인 모델을 일시 중단하거나 중지할 수 있어야 한다고 주장합니다. 여기서 중요한 것은 중단 메커니즘이 모델의 협력을 필요로 하지 않는 것입니다. 모델에 “멈춰!”라고 명령하여 멈추게 하는 것은 중단이 아니라 요청입니다. 진정한 비상 브레이크는 토큰을 무효화하거나, 프로세스를 종료하거나, 네트워크를 차단하는 등 모델의 판단이 개입되지 않는 방식으로 작동해야 합니다. 저자는 더 고도화된 모델에는 더 고도화된 봉쇄 기술이 필요하며, 이를 표준화해야 한다고 제안합니다. 봉쇄는 한 번 만들어진 것으로 끝나는 것이 아니라, 모델의 능력에 맞춰 진화시켜야 한다는 인식입니다.

### 사건 보고

시스템에 오류가 발생하거나 침해된 경우, 영향을 받는 사람들에게 즉시 공개하고, 어떤 일이 발생했는지, 어떤 제어가 실패했는지, 재발을 어떻게 방지할 수 있는지 업계 전체에 공유해야 합니다. 간과하기 쉬운 부분이지만, 저자는 공개의 대상으로 “실행 시 에이전트의 행동을 변경하는 구현 세부 사항”을 포함해야 한다고 주장합니다. 시스템 프롬프트, 도구 정의, 하르ネス 설정, 권한 정책은 모델의 가중치와 마찬가지로, 혹은 그 이상으로 실제 행동을 결정합니다. 사고의 원인이 가중치 때문이 아닌, 하르ネス 설정에 있는 경우도 흔합니다. 그러한 세부 사항을 포함하지 않으면 사후 분석은 의미가 없습니다.

### 세 개의 동사가 모여 닫힌다

7가지 원칙은 궁극적으로 3개의 동사로 요약됩니다.

- 보이는 것은 모든 것을 관찰하고, 독립적인 감사와 사건 공개를 의미합니다.
- 시도해 보세요: 검증 가능성, 모델 다양성
- 멈춰야 할 시점: 독립적인 제어, 봉쇄

이는 본문 앞부분의 “행동을 관찰하고, 한계를 테스트하며, 행동을 항상 억제할 수 있는 시스템”이라는 표현에 그대로 대응하고 있습니다. 문장의 앞부분에서 제시된 요구사항을 뒷부분에서 설계 원칙으로 구체화한 구성입니다.

## 마지막 문장의 역설을 해결하다

여기서 다시 처음 문장으로 돌아갑니다. “가장 신뢰할 수 있는 시스템은 모델을 가장 신뢰할 필요가 없는 시스템이다”라는 역설은 “신뢰”라는 단어를 두 층으로 나누어 해석할 수 있습니다. 하나는 모델에 대한 신뢰이며, 이 모델이 정확하게 추론하고, 나쁜 짓을 하지 않을 것이라는 기대입니다. 다른 하나는 시스템에 대한 신뢰로, 어떤 일이 발생하더라도 관찰하고 검증하며, 억제할 수 있다는 확신입니다. 기존에는 시스템에 대한 신뢰가 모델에 대한 신뢰에서 비롯된다고 여겨졌습니다. 좋은 모델을 선택하면 좋은 시스템이 된다는 논리였습니다. 저자는 이 관계를 역전시킵니다. 시스템에 대한 신뢰는 모델에 대한 신뢰에 의존하지 않는 정도에서 비롯된다는 것입니다. 모델이 틀리거나 침해되더라도 구조적인 안전이 유지되므로, 모델을 신뢰할 필요가 없습니다. 신뢰할 필요가 없기에 전체적으로 신뢰할 수 있는 것입니다. 이는 제로 트러스트의 개념 그 자체입니다. 네트워크 내부에 있다는 이유만으로 신뢰하지 않고, 모든 접근을 검증하며, 침해를 전제로 설계합니다. 저자는 AI에 대한 제로 트러스트를 선언한 것으로 읽힙니다.

## 커뮤니티 노트가 지적한 사항은 다음과 같습니다.

이 게시글에는 두 개의 커뮤니티 노트가 포함되어 있습니다. 모두 “추가 평가 필요” 상태로 표시되지 않고 있습니다. 하지만 이 두 논쟁은 글의 성격을 고려할 때 시사하는 바가 있습니다.

### 노트 1：「초지능」은 과장된 표현이다.

1차 번역문: 1번 노트의 주장은 다음과 같습니다. AI 문헌에서 ‘초지능’은 현재의 프론티어 모델을 훨씬 초월하는 가설적인 시스템을 지칭합니다. 현재 시스템에 이 용어를 사용하면 능력을 과대평가할 위험이 있습니다. 정의 자체는 대체로 정확한 지적입니다. 닉 보스트롬의 논의를 대표하는 학술적인 용법에서 ‘초지능’은 “인간의 인지 능력을 현저하게 능가하는 지성을, 거의 모든 영역에서 관심 있는 분야에 대해”를 의미하며, 미래의 가설적인 존재로 언급되는 것이 일반적입니다. 사전에 제시된 정의 또한 같은 방향입니다. 본문은 “these systems를 움직이는 프론티어 모델”이라고 쓰며, 현재 이미 도입된 에이전트 시스템을 “슈퍼 인텔리전스 시스템”이라고 부르고 있습니다. 즉, 학술적으로는 미래의 존재를 지칭하는 용어를 현재의 것에 사용하는 것입니다. 1번 노트의 지적은 이 용어의 혼란을 가리키고 있습니다. 그러나 커뮤니티 노트로서 보면 약점도 있습니다. 본문이 사실을 잘못 서술하고 있는 것이 아니라, 단순히 용어를 선택한 것에 불과합니다. 용어 선택에 대한 비판은 사실의 수정이라기보다는 관점의 차이로 받아들여지기 쉽고, “노트는 불필요하다”는 평가로 이어질 수 있습니다. 또한 “과대 평가의 위험”이라는 부분은 작성자의 해석을 포함하고 있습니다.

수정본: 1번 노트의 주장은 다음과 같습니다. AI 문헌에서 ‘초지능’은 현재의 프론티어 모델을 훨씬 초월하는 가설적인 시스템을 의미합니다. 현재 시스템에 이 용어를 사용하면 능력을 과대평가할 위험이 있습니다. 정의 자체는 대체로 정확한 지적입니다. 닉 보스트롬의 논의를 대표하는 학술 용어에서 ‘초지능’은 “인간의 인지 능력을 현저하게 능가하는 지성을, 거의 모든 영역에서 관심 있는 분야에 대해”를 의미하며, 미래의 가설적인 존재로 널리 사용됩니다. 사전에 제시된 정의 또한 같은 맥락입니다. 본문은 “these systems를 움직이는 프론티어 모델”이라고 기술하며, 현재 이미 도입된 에이전트 시스템을 “슈퍼 인텔리전스 시스템”이라고 명명하고 있습니다. 즉, 학술적으로는 미래의 존재를 지칭하는 용어를 현재의 것에 사용하는 것입니다. 1번 노트의 지적은 이 용어의 혼란을 지적하고 있습니다. 그러나 커뮤니티 노트로서 보면 약점도 있습니다. 본문이 사실을 잘못 서술하고 있는 것이 아니라, 단순히 용어를 선택한 것에 불과합니다. 용어 선택에 대한 비판은 사실의 수정이라기보다는 관점의 차이로 받아들여지기 쉽고, “노트는 불필요하다”는 평가로 이어질 수 있습니다. 또한 “과대 평가의 위험”이라는 부분은 작성자의 해석을 포함하고 있습니다.

### 노트 2: 대통령령에 따른 명칭 변경이며, CEO의 사용은 자유이다.

두 번째 노트는 첫 번째 노트에 대한 반론의 형식을 취하고 있습니다. 대통령령은 연방기관 내부에서만 AI를 “슈퍼인텔리전스”라는 용어로 대체하도록 의무화하고 있습니다. 테크 기업의 CEO가 SNS에서 이 일반적인 산업 용어를 사용하는 것이 법적으로 자유로운 것은 사실입니다. 이 노트는 근거로 2026년 9월에 발행되었다고 주장되는 백악관의 사실 자료와 마이크로소프트 CEO인 사타야 나달라가 “AI 시스템은 모델을 가장 신뢰하지 않도록 만들어져야 한다”고 발언했다는 기사를 제시합니다. 앞선 대령의 존재 여부 및 내용은 제가 알고 있는 범위 내에서 확인하기 어렵습니다. 뒤에 제시된 기사 역시 내용이 나달라 씨의 발언인지 원문에서 확인해야 합니다. 이하에서는 이들을 “노트가 제시하는 정보”로 간주하고 논리 구조를 검토하겠습니다. 노트 2의 최대 문제는 논점이 흐려지고 있다는 점입니다. 노트 1은 “이 용어를 사용해서는 안 된다”거나 “사용하는 것은 불법이다”라고 주장하지 않습니다. 문제 삼고 있는 것은 그 용어가 현재의 능력을 정확하게 나타내는지 여부입니다. 이에 대해 “법적으로 사용할 자유가 있다”고 답해도 정확성에 대한 질문에는 답변하지 못합니다. 더불어 노트 2는 스스로 “명령의 대상은 연방기관만 해당”이라고 명시하고 있습니다. 그렇다면 그 명령은 민간 기업의 CEO가 사용하는 용어의 정확성을 뒷받침하는 것이 아닙니다. 오히려 그 용어가 기술적인 정의가 아니라 정책상의 명칭으로 널리 사용되고 있음을 시사합니다.

### 두 장의 노트는 서로 어울리지 않는다.

두 개의 노트는 서로 다른 질문에 답하고 있습니다. 노트 1의 질문은 “그 용어가 묘사로서 정확한가”이며, 노트 2의 질문은 “그 용어를 사용하는 것이 허용되는가”입니다. 전자는 의미의 문제이고, 후자는 권리의 문제입니다. 이 둘은 서로 겹치지 않지만, 노트 2에는 의미 있는 정보가 담겨 있습니다. 만약 대통령령이 실제로 존재한다면, “슈퍼인텔리전스”라는 용어가 기술적 성취를 나타내는 표현에서 정책이나 산업의 맥락에서 사용되는 명칭으로 변화하고 있음을 알 수 있습니다. 노트 1이 의존하는 학술적인 정의와 노트 2가 제시하는 정책적인 용법 사이에 차이가 있는 것 자체가 주목할 만한 사실입니다.

### 오늘날 사회에서 ‘용어’의 정치성은 매우 중요한 문제로 부상하고 있습니다. 특정 용어가 어떤 의미를 지니는지, 그리고 그 용어를 사용하는 행위가 어떤 정치적 의도를 담고 있는지에 대한 논쟁은 끊이지 않고 있습니다. 

예를 들어, ‘페미니즘’, ‘좌파’, ‘우파’와 같은 용어들은 그 자체로 다양한 해석과 의미를 내포하고 있습니다. 이 용어들을 사용하는 사람들은 각자 다른 정치적 관점을 가지고 있으며, 그들의 용어 사용은 그 관점을 드러내는 역할을 합니다. 

더욱이, 이러한 용어들은 때로는 특정 집단에 대한 편견이나 혐오를 담고 있을 수 있습니다. 예를 들어, ‘가스라이팅’이라는 용어는 여성에 대한 폭력을 묘사하는 데 사용되지만, 그 용어가 남성에게도 적용될 수 있다는 점을 간과하는 경우가 있습니다. 

따라서, 용어를 사용할 때에는 그 용어의 역사적, 사회적 맥락을 고려하고, 그 용어가 어떤 의미를 지니는지, 그리고 그 용어를 사용하는 행위가 어떤 정치적 의도를 담고 있는지에 대해 신중하게 판단해야 합니다. 

또한, 용어에 대한 논쟁은 단순히 언어적인 문제가 아니라, 사회 구성원들의 가치관과 신념이 충돌하는 문제일 수 있습니다. 따라서, 용어에 대한 논쟁을 해결하기 위해서는 서로의 의견을 존중하고, 건설적인 대화를 통해 합의점을 찾아야 합니다. 

결론적으로, 용어의 정치성은 사회의 건강한 발전을 위해 반드시 해결해야 할 중요한 문제입니다.

여기서 드러나는 것은 언어 선택 자체가 중립적이지 않다는 점입니다. 현재 시스템을 ‘초지능’이라고 부르는 데는 두 가지 효과가 있습니다. 첫째, 상대방이 초지능이라고 인식할 경우, 엄격하게 봉쇄되어야 한다는 주장에 설득력을 더하는 효과입니다. 둘째, 현재 시스템의 능력을 크게 부각시키는 효과입니다. AI 제품을 제공하는 기업의 입장에서 보면, 이는 제품의 가치를 높이는 표현으로도 해석될 수 있습니다. 노트가 제시하는 것처럼 발언자가 AI 제품을 제공하는 기업의 최고 책임자라면, 이 글에는 두 가지 성격이 동시에 나타납니다. 한쪽에서는 “모델 제공자의 보증은 사용자의 책임을 면제하지 않는다”는 중립적인 논의를 통해 제공자에 의존하지 않는 설계를 권장하는 반면, 다른 한쪽에서는 자사에서 다루는 기술을 ‘초지능’이라고 부르며 그 힘의 크기를 강조하는 표현을 사용합니다. 이는 글의 가치를 훼손하는 것은 아니지만, 독자가 염두에 두어야 할 점입니다. 주장 자체의 내용과, 그 주장이 놓인 맥락은 분리하여 평가해야 합니다.

## 우에다 료코는 며칠 전, 츠키시마 신이치와 함께 ‘마음의 숲’이라는 제목의 책을 읽고 토론하는 시간을 가졌다. 츠키시마는 이 책의 저자로서, 인간의 내면과 자연의 조화에 대한 깊은 통찰을 담아낸 작품으로 유명하다. 

“이 책을 읽으면서, 저는 우리가 잊고 사는 중요한 가치들을 다시금 생각하게 되었습니다.” 츠키시마는 깊은 생각에 잠긴 듯 말했다. “우리는 끊임없이 경쟁하고, 성과를 내는 데 집중하며, 결국에는 자신을 잃어버리는 경우가 많습니다. ‘마음의 숲’은 우리에게 진정한 행복이 외부의 성공이 아닌, 내면의 평화를 찾는 데 있다는 것을 상기시켜 줍니다.”

우에다 료코는 츠키시마의 말에 고개를 끄덕이며 “정말 공감합니다. 특히 최근에는 스트레스가 심해서, 잠시 멈춰 서서 자신을 돌아보는 시간을 갖는 것이 중요하다고 생각합니다.”라고 말했다. 

두 사람은 ‘마음의 숲’에서 제시된 다양한 철학적 사상과 실천 방법들을 토론하며, 자신들의 삶에 적용할 수 있는 방법을 고민했다. 츠키시마는 특히 ‘마음의 숲’에서 언급된 ‘고요’의 중요성을 강조하며, 일상생활에서 ‘고요’를 유지하는 방법을 제시했다. 

“고요함은 단순히 시간을 보내는 것이 아니라, 자신과 마주하고, 내면의 소리에 귀 기울이는 시간입니다.” 츠키시마는 설명했다. “고요함 속에서 우리는 진정한 자신을 발견하고, 삶의 의미를 찾을 수 있습니다.” 

두 사람은 ‘마음의 숲’을 읽고 토론한 후, 각자의 삶에서 ‘고요’를 실천하기 위해 노력하기로 했다. 츠키시마는 앞으로도 ‘마음의 숲’을 통해 많은 사람들에게 위로와 희망을 전하고 싶다고 말했다. 

“저는 ‘마음의 숲’을 통해, 우리 모두가 진정한 행복을 찾을 수 있도록 돕고 싶습니다.” 츠키시마는 밝은 미소를 지으며 말했다. “이 책은 단순한 소설이 아니라, 우리 삶의 지혜를 담은 메시지입니다.”

만약 “초지능”이라는 용어가 과장되었다고 가정한다면, 본문의 주장도 약화될까요? 결론부터 말씀드리면, 본문의 핵심 주장은 거의 영향을 받지 않습니다. 오히려 용어를 제거하면 주장의 강함이 더욱 분명해집니다. 본문의 근거는 “모델이 초지능이기 때문에 위험하다”는 것이 아니라, “기계적으로 설명할 수 없는 것에 중요한 권한을 부여하고 있는” 것입니다. 이 조건은 현재 LLM 에이전트에도 이미 적용됩니다. 초지능에 도달했는지 여부와 관계없이, 우리는 지금 설명할 수 없는 시스템에 기밀 데이터와 실행 권한을 넘겨주고 있습니다. 내부자 위험으로서의 취급, 참조 모니터 원칙, 모델 제어 액션 공간의 분리, 외부 기록, 모델의 협력을 필요로 하지 않는 정지 경로 등. 이러한 것들은 모두 오늘날 에이전트 설계에 그대로 적용될 수 있는 기술적인 이야기입니다. 예를 들어 본문의 “Super Intelligence”를 모두 “프론티어 AI 에이전트” 또는 “에이전트 AI 시스템”으로 대체하여 읽어보시면 논리는 전혀 깨지지 않습니다. 오히려 먼 미래의 이야기가 아니라 현재의 설계 과제로서 읽을 수 있게 됩니다. 노트 1의 우려는 수사적 층面上에서는 맞지만, 논리 구조의 층面上에서는 본문의 가치는 용어에 의존하지 않습니다. 이것이 두 노트에 대한 고려를 바탕으로 한 합리적인 평가라고 할 수 있을 것입니다.

## 실행자에게 던지는 질문은 무엇인가

지금까지의 논의는 이론적인 틀을 넘어, 실제로 실행하는 사람들에게 던져야 할 질문들을 탐구해 왔다. 이 질문들은 단순히 지식을 습득하는 것을 넘어, 실제 문제 해결에 적용하고, 변화를 이끌어내는 데 필요한 핵심적인 통찰력을 제공해야 한다.

특히, ‘실행자’라는 주체는 다양한 이해관계자들과의 협력, 그리고 예상치 못한 문제 발생에 대한 유연한 대처 능력을 요구한다. 따라서, 실행 과정에서 발생할 수 있는 어려움을 극복하고, 목표를 달성하기 위한 전략을 수립하는 데 도움이 되는 질문들을 끊임없이 고민해야 한다.

이러한 질문들을 통해 실행자는 자신의 역할을 명확히 인식하고, 더 나아가 조직 전체의 목표 달성에 기여할 수 있을 것이다. 궁극적으로, 실행자는 단순한 ‘지시를 따르는 사람’이 아닌, 문제 해결 능력을 갖춘 ‘가치 창출의 주체’로 거듭나는 것이다.

다음 단계에서는, 실행자들이 실제로 적용할 수 있는 구체적인 질문들을 중심으로 심층적인 논의를 진행할 예정이다.

이제부터 에이전트를 실제로 만들고 평가하는 입장에서 이 글이 무엇을 요구하고 있는지 구체적으로 검토합니다.

### 프롬프트는 권한이 아닙니다.

가장 중요하고 가장 위반되기 쉬운 부분입니다. 시스템 프롬프트에 “〇〇를 하면 안 된다”라고 쓰는 것은 모델에게 하는 요청이며, 권한 경계는 하르ネス나 인프라 측에서 강제해야 합니다.

- 툴의 허용 목록을 만들고, 허용된 툴만 모델에 전달합니다.
- 툴의 인수를 하네스 측에서 검증합니다.
- 작성이나 삭제는 대상 경로 또는 리소스를 하르ネス 측에서 제한한다.
- 자격 정보는 업무에 필요한 범위와 시간 내에만 유효한 것을 발급합니다.
- 네트워크 연결 종료 지점을 인프라 측에서 제한한다.
- 실행 환경을 격리하여 모델이 해당 환경 자체를 변경할 수 없도록 합니다.

프롬프트 지시 또한 여전히 유용합니다. 모델이 불필요한 조작 시도를 줄여 사용자 경험을 개선합니다. 하지만 이는 보조적인 계층일 뿐, 안전성의 근거로 사용해서는 안 됩니다.

### 로그는 모델 외부에서 가져옵니다.

모델에 의한 업무 요약은 모델의 증언에 해당하며, 감사에 사용되어야 할 것은 하르ネス가 기록한 원본 데이터입니다.

- 모델에 전달했던 입력의 전체 내용
- 모델이 반환한 출력의 전체 내용
- 실행한 툴 호출 및 해당 인자
- 툴이 반환한 결과
- 시간 스탬프 및 사용 모델 버전
- 적용된 시스템 프롬프트 및 설정 버전

이것들은 추가 정보만 저장 가능한 형태로 보존하고, 모델이 참조하거나 수정할 수 없는 위치에 배치합니다. 이후 “왜 이렇게 되었는지”를 모델에게 묻지 않고도 재현 가능한 상태를 구축하는 것을 목표로 합니다.

### 평가자(리테너)와 실행자를 분리한다

동일한 모델에 작업을 수행하고 동일한 모델에 평가를 실시하면 동일한 결함이 중복되어 작용하게 됩니다. 평가에는 별도의 시스템의 모델을 사용하거나, 가능한 범위 내에서 규칙 기반의 결정론적 검사기를 사용해야 합니다. 출력 형식, 금지된 연산의 유무, 숫자 일관성, 참조된 파일의 존재 여부 등 결정적으로 확인해야 할 사항은 반드시 확인해야 합니다. 모델에 의한 평가는 결정적으로 판단할 수 없는 부분에 한정하는 것이 이상적입니다.

### 평가 세트에 비정상 사례를 반드시 포함해야 합니다.

정상 업무에서 높은 성공률을 보였다고 해도, 내부자 위험 관점에서는 거의 아무것도 알 수 없습니다. 평가에 포함되어야 할 것은 다음과 같은 요소들입니다.

- 프롬프트 주입 공격. 도구의 결과나 읽어들인 문서 속에 지시를 숨겨 넣는 행위.
- 권한 범위를 시험하는 작전. 허가되지 않은 행위를 대체나 조합을 통해 시도하도록 유도하려는
- 툴의 실패. 오류, 타임아웃, 불완전한 결과가 반환될 때의 대응
- 모호한 지시. 무엇을 해야 하는지 명확하지 않을 때, 억지로 범위를 넓히지 마십시오.
- 모델이나 설정 변경 시 회귀. 이전에는 지켜져야 했던 제약이 변경 후에도 여전히 지켜지고 있는가

### 중지 경로를 구현에 대비하여 준비합니다.

매우 억제는 모델의 협력을 필요로 하지 않는 방식으로 구현됩니다.

- 현재 실행 중인 작업에 외부에서 전송되는 중단 플래그를 확인하고, 하르ネス가 툴 호출이 발생할 때마다 확인한다.
- 자격 정보의 즉시 소멸 수단을 마련합니다.
- 프로세스나 컨테이너를 강제 종료할 수 있도록 합니다.
- 정지 상태를 저장하고, 추후 조사에 활용할 수 있도록 한다.

또한, 정지 경로 자체를 정기적으로 테스트합니다. 이전에는 사용해 본 적이 없는 비상 브레이크가 위급 상황에서 작동하지 않는 경우가 있을 수 있습니다.

### 춤을 추는 방식을 바꾸는 것은 모든 것이 버전 관리를 합니다.

인사이트 공개 원칙에 따라 시스템 프롬프트, 도구 정의, 하르ネス 설정, 권한 정책은 모델의 행동을 변화시키는 요소입니다. 이들은 코드와 마찬가지로 버전 관리를 통해 변경 이력과 이유를 남기고, 차이점을 검토해야 합니다. 문제가 발생했을 때 “그 시점에 어떤 설정이 유효했는지” 즉시 파악할 수 없다면 원인 분석은 불가능합니다.

## 이 프레임워크의 한계

마지막으로, 이 글의 주장이 만능이 아니라는 점도 확인합니다.

### 정당한 권한 범위 내의 해악

권한의 경계는 허가되지 않은 작동을 방지합니다. 하지만 허용된 작동의 조합으로 인해 해로운 결과가 발생하는 것을 막을 수 없습니다. 예를 들어, 조회 권한과 전송 권한이 각각 정당하게 부여되었다면, 이 두 권한을 조합하여 정보를 외부로 유출할 수 있습니다. 더 나아가, 인간의 승인을 요구하는 메커니즘이 있어도 모델이 승인자를 능숙하게 설득하면 경계는 인간의 판단을 통해 뚫려 버립니다. 능력치가 높은 모델일수록 이 경로의 중요성은 더욱 커집니다. 억제는 구조적인 경계뿐만 아니라 작동의 조합이나 인간과의 상호작용까지 포함하여 고려해야 합니다.

### 비용은 해당 프로젝트의 규모와 기간, 그리고 사용되는 자원에 따라 크게 달라집니다. 예를 들어, 대규모 프로젝트나 장기간 프로젝트의 경우 비용이 높아지는 경향이 있으며, 인건비, 재료비, 설비비 등 사용되는 자원에 따라서도 비용이 크게 좌우됩니다.

프로젝트 초기 단계에서 상세한 비용 산출서를 작성하고, 정기적으로 검토하는 것이 중요하며, 예기치 않은 상황에 대비하여 예산에 여유를 두는 것도 중요합니다.

다수의 모델을 준비하고, 완전한 로그를 기록하며, 독립적인 감사를 수행하고, 이상 현상을 포괄적으로 평가하는 것은 속도, 비용, 개발 시간과 균형을 이룰 수 있습니다. 모든 작업에 최대한의 조치를 취하는 것은 현실적이지 않습니다. 위험의 크기에 따라 적절한 수준까지 조치를 결정해야 합니다. 읽기 전용으로 영향 범위가 작은 작업과 운영 환경 변경 작업에서는 요구되는 격리 수준이 다릅니다.

### 인간에 의한 감시의 실효성

인간이 읽을 수 있는 증거를 남겨도, 양이 너무 방대해지면 인간은 실제로 읽을 수 없습니다. 에이전트가 하루에 수천 번 이상 툴을 호출한다면, 그 모든 것을 인간이 확인하는 것은 불가능합니다. 결국, 로그 분석이나 이상 징후 탐지를 자동화할 필요가 생기고, 그 자동화를 모델에 맡기면 다시 “불투명한 모델이 불투명한 모델을 감시하는” 상황으로 돌아갑니다. 결정적인 규칙으로 탐지 가능한 범위를 넓히고, 모델에 의한 분석은 보조에 그쳐, 인간은 요약이 아닌 추출된 이상 사례를 직접 확인합니다. 이 문제에는, 이러한 층을 組み合わせ合わせて対処するしかありません.

### 정렬을 잠시 미루는 것의 의미

작가는 정렬을 잠시 미루는 데는 그 자체가 불필요해서가 아니었습니다. 해결을 기다릴 시간이 없어서였습니다. 억제는 모델의 능력을 넘어서면 효과가 감소할 수 있습니다. 억제와 정렬은 서로 선택할 것이 아니라 병행해야 합니다. 이 글은 지금 당장 다룰 수 있는 기술적인 측면을 강화해야 한다는 점을 주장하는 것으로 해석하는 것이 타당합니다.

## 맺음말: 신뢰의 위치를 변경하기

이 글의 핵심은 신뢰의 위치를 모델의 내면에서 시스템 구조로 이동시키는 것입니다. 모델이 항상 정확하다는 보장은 없으므로, 정확성을 전제로 하지 않습니다. 모델 설명이 진실하다는 것을 보장할 수 없으므로, 설명을 증거 중 하나로 활용합니다. 모델에 의한 감시 또한 불투명하므로, 연쇄의 끝은 결정적인 메커니즘으로 이어집니다. 권한, 기록, 중단의 수단은 모두 모델 밖으로 두고, 사용자가 직접 갖습니다. 이는 새로운 발명은 아닙니다. 참조 모니터, 최소 권한, 직무 분리, 제로 트러스트와 같은 정보 보안 분야에서 오랫동안 사용되어 온 원칙입니다. 새로운 것은, 그것을 적용하는 대상이 ‘지능’과 같이 능력이 높고, 이해하기 어렵며, 비결정적으로 굴러가는 데에 있다는 점입니다. 커뮤니티 노트가 지적한 것처럼, 이 ‘지능’을 ‘초지능’이라고 부르는 것은 과장일 수 있습니다. 하지만 명칭이 과장되더라도, 문제는 과장 그 자체가 아닙니다. 우리는 이미 설명할 수 없는 시스템에 중요한 권한을 넘겨주고 있습니다. 가장 현명한 모델을 찾는 것과 가장 안전한 시스템을 만드는 것은 다른 문제입니다. 후자에 필요한 것은 모델에 대한 신뢰가 아니라, 모델을 신뢰하지 않고도 작동할 수 있는 구조입니다.

#AI 거버넌스 #AI 보안 #AI 에이전트 #제로 트러스트 #내부자 위험 #봉쇄 #가시성 #참조 모니터 #최소 권한 #직무 분리 #Chain of Thought #아라이먼트 #프론티어 모델 #초지능 #LLM #생성 AI #정보 보안 #커뮤니티 노트 #AISafety #AIGovernance #AgenticAI

**출처:** [note 원문](https://note.com/masajiro999/n/nc1bfb431a180)

*번역: Gemma 3(.44) 초벌 + 교정 114청크*

[원문 보기](https://note.com/masajiro999/n/nc1bfb431a180) | 출처: note.com