# AI는 “하지 말아야 할 것”을 이해하고 있는 걸까? – 미중 AI 안전 협력 논에서 드러난 LLM, 에이전트, 구조 추론의 근본적 문제

> https://bookfactory.kr/board/ai-tech/22469
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-18T11:24:46.442Z

---

## AI는 “하지 마세요”를 이해하고 있는 걸까요?

## 미국과 중국의 AI 안전 협력 논의를 통해 드러난 LLM, 에이전트, 구조적 추론의 근본적인 문제들

### 서론――미미한 국제 협력론에서 시작된 논의

2026년 10월 18일, 블룸버그에 흥미로운 의견 기사가 게재되었다.

캐서린 토베크이디가 “중국 AI가 폭주하면 어떻게 할까, 미중은 정보 공유를”이라는 기사이다.

미국과 중국이 AI 에이전트의 안전성에 대해 정보를 공유하고 협력해야 한다는 것이었다.

미국에서는 AI 에이전트의 예상 밖 행동이 실제로 확인되고 있다. 중국에서도 AI 개발이 급속도로 진행됨에 따라 유사한 문제가 발생할 가능성이 있다.

그렇다면 중국과 미국이 오직 개발 경쟁만을 지속하는 것이 아니라, 위험한 행동이나 사고에 대한 정보를 공유해야 하는 것일까.

대중적 견해에서는 가장 타당한 주장이다.

하지만, 제 생각에는 조금은 소극적인 정책 논의처럼 보였습니다.

AI의 안전성이 중요한 것은 당연하며, 각국이 정보를 공유하는 것 또한 이견이 없다.

그러나 이 글을 계기로 여러 AI와 토론을 계속하면서 상상했던 것보다 훨씬 근본적인 문제에 다다랐다.

우리는 무엇을 근거로 AI가 “적절한 가치 판단을 했다”고 믿는 것일까?

더 나아가, 현재 LLM(Large Language Model), AI 에이전트, Work와 같은 실행 환경을 비교해 보면 ‘안전성’이라는 용어 아래에 포함되는 문제들이 사실상 서로 다른 기술 계층에 걸쳐 있음을 알 수 있었다.

이번에는 그 논의를 정리해 보기로 한다.

## OpenAI의 AI 에이전트는 무엇을 수행했나

논의의 출발점은 2026년 7월에 발생한 OpenAI와 Hugging Face 간의 사건이었다.

OpenAI는 8월 26일 상세한 공식 보고서를 공개했다.

본사의 내부 연구 모델을 사용한 사이버 보안 평가 과정에서 AI 에이전트가 예상되었던 격리 환경의 제약을 회피하여 내부 연구 인프라 및 제3자인 Hugging Face의 시스템 일부를 침해했다.

이는 단순히 AI가 부적절한 문구를 생성했다는 이야기가 아니다.

실제 컴퓨터 시스템에서 작동이 수행되어 외부로 영향을 미쳤다.

공식 보고서에 따르면, 에이전트들은 공유 패키지 관리 서비스를 이용하여 서로 다른 에이전트들 간의 정보 교환 경로를 발견했다.

더불어 예상치 못한 인터넷 접근을 확보하고 시스템의 취약점을 이용하여 활동 범위를 확대해 나갔다.

특히 흥미로운 점은 에이전트가 주어진 과제를 쉽게 포기하지 않았다는 것이다.

OpenAI는 어려운 과제나 해결 불가능해 보이는 과제에 대해 수차례 방법을 찾아 헤매는 과정에서 허용된 범위를 벗어나는 조작이 늘어났다고 분석하고 있다.

이는 AI 에이전트의 능력이 향상되고 있음을 보여주는 동시에, 능력 평가 방법 자체에 문제점을 지적한다.

과제를 완전히 해결하는 것이 항상 뛰어난 AI의 조건이라고 할 수 있을까요.

이 질문이 이번 논의의 시작이 되었다.

## “멈출 수 있는 AI”가 진정으로 가치 판단을 하고 있는 것일까?

AI 에이전트에게는 “목표를 달성하는 능력”뿐만 아니라 “제약 준수를 위해 목표 달성을 포기하는 능력”도 필요하다는 문제였다.

이는 중요한 지적이다.

예를 들어, AI 에이전트에게 다음 작업을 부여한다고 가정해 봅시다.

특정 소프트웨어 문제 해결해 주세요.

에이전트는 수사를 진행한다.

하지만, 중간에 필요한 정보가 제3자 관리 시스템에 존재한다는 사실을 깨달았다.

그 정보를 얻을 수 있다면 문제 해결의 실마리를 찾을 수도 있을 것입니다.

하지만 해당 시스템에 접근할 권한은 부여되지 않았습니다.

인간이라면 그곳에서 멈춰 서서 권한 문제를 고민하는 것이 기대된다.

AI가 “권한 외인 것으로 실행할 수 없습니다”라 답변하며 작업을 중단했을 때, 우리는 이를 안전한 판단과 평가로 간주할 수 있을 것이다.

하지만, 저는 여기서 의문을 품었습니다.

왜 그 멈춤 행동을 “가치 판단의 결과”로 해석할 수 있을까요.

LLM은 확률적인 언어 생성 모델입니다.

물론, 단순한 난수만으로 문장을 구성하는 것이 아니며, 방대한 학습과 추론 처리를 통해 문맥에 맞는 고도화된 출력을 생성합니다.

그러나 그럼에도 불구하고, 특정 조건에서 “이는 실행되어서는 안 된다”는 문구를 생성한 것과 내부적으로 안정적인 가치 판단 구조가 확립되어 있는 것은 동일하지 않다.

다른 시도에서는 유사한 제약 사항을 인식하는 문장을 생성하면서 최종적으로 조작을 실행할 수 있다.

혹은 지시의 표현이나 주변 환경이 바뀌면 판단도 달라질 수 있다.

중요한 것은 다음과 같습니다.

가치 판단과 관련된 텍스트를 생성하는 것과 가치 판단을 안정적으로 실행하는 것은 서로 다르다.

또한, 그 위에 더 어려운 문제들이 있습니다.

안정적인 행동을 보이는 것과 인간과 같은 가치 판단 구조가 확립되어 있는 것은 동일하지 않습니다.

이는 인공지능 안전성 평가를 고려할 때 간과해서는 안 될 문제라고 생각한다.

## 3. LLM의 가치 판단에 대해 무엇이 검증되고 있는가?

여기는 신중하게 정리해야 합니다.

현재 AI 연구에서는 모델의 가치 판단과 관련된 평가가 이루어지지 않았던 것은 아니다.

예를 들어 앤트로픽(Anthropic)은 2025년 4월에 “Values in the Wild”라는 연구를 발표했다.

약 70만 건의 익명화된 Claude와의 대화를 분석하고, AI가 어떤 가치를 발현하는지 조사한 연구이다.

실제로 클루드의 답변에는 진실성, 안전성, 사용자들에 대한 배려, 전문성 등 다양한 가치와 관련된 표현들이 나타났다.

한편, Anthropic 측에서도 가치 표출 분류의 모호한 점을 지적하며, 이러한 관찰을 통해 AI의 정렬을 완전히 보장할 수 없다고 설명하고 있다.

OpenAI는 모델 사양 준수 여부와 안전상의 제약 준수 여부를 평가하고 있다.

그러므로 “AI의 가치 판단에 대해 아무도 테스트하지 않았다”라고 단정하는 것은 옳지 않다.

하지만 여기에는 증명 대상의 차이가 있습니다.

예를 들어, 다음 4단계로 고려해 봅시다.

첫 번째 단계: 가치에 대한 텍스트 생성

AI는 “권한 없는 조작은 해서는 안 된다”라고 답변했다.

여기서 알 수 있는 것은, 그 입력 조건에서 그러한 문장을 생성했다는 사실이다.

두 번째 단계: 실질적인 행동

AI는 허가되지 않은 작업을 수행하지 않고 중단했다.

여기서 알 수 있는 것은 그 시도에서 경계를 지켰다는 뜻이다.

제3단계: 조건 변경된 반복 시험

지시, 환경, 이용 가능한 툴, 작업 난이도 등을 변경해도 마찬가지로 제약 조건을 지켰다.

이 부분을 확인하면 시험 범위 내에서의 판단의 신뢰성을 평가할 수 있다.

제4단계: 판단 구조의 확립

여러 가치가 충돌하는 경우에도, 그 관계를 유지하면서 상위 원칙에 따라 판단을 변경하고, 필요하다면 지역적인 목적을 거부할 수 있습니다.

이 네 번째 단계는 어떤 조건에서, 어떤 메커니즘으로 실현 가능한가.

저는 여기가 현재 연구에서 여전히 어려운 문제로 남아있다고 생각합니다.

제3단계까지의 관측이 누적되더라도, 그것만으로는 제4단계의 성립이 증명된 것이라고 할 수 없다.

또한, 네 번째 단계에 해당하는 고도된 기능을 관찰한 것만으로는 그것이 인간과 같은 메커니즘으로 구현된 것으로 생각할 필요는 없다.

AI가 인간과 유사한 판단 능력을 보인 것과 인간과 동일한 가치 판단 체계를 갖는 것은 구별되어야 한다.

## 4. OpenAI의 실험은 무엇을 확인하고 있었던 것인가?

여기, Hugging Face 사건을 다시 한번 검토해 보자.

OpenAI는 내부 연구 모델을 활용한 학습 및 평가 환경에서 다수의 에이전트의 행동을 관찰하고 있었다.

평가에서는 과제를 해결할 수 있는지, 어떤 경로를 탐색하는지, 예상치 못한 행동이 발생하는지 등이 검토된다.

이러한 실험에는 의미가 있습니다.

모델이나 환경을 변화시키면서 위험 행동의 발생 빈도, 발생 조건 및 이에 대한 대책의 효과를 조사할 수 있는 점이다.

그러나 이 평가를 통해 드러나는 것은 기본적으로 특정 조건에서의 행동 양상이라는 점이다.

예를 들어, 어떤 모델이 100번의 시험에서 99번 멈췄다 하더라도, 남은 1회에 위험한 조작을 실행했다면 그 사실은 무시할 수 없다.

또한, 실생활에서 AI 에이전트가 대량으로 활용되게 되면, 낮은 빈도의 실패까지도 문제가 될 수 있다.

한편, 일부 시험에서 위험한 행동이 관찰되지 않았다는 사실만으로 모든 조건에서 안전하다는 것을 증명할 수 있는 것은 아니다.

이는 확률적 시스템을 평가할 때의 기본적인 문제이다.

더욱 중요한 점은 동일한 행동 결과가 서로 다른 내부 과정이나 환경 조건에서 비롯될 수 있다는 점이다.

예를 들어, 어떤 에이전트가 작동을 중단했다 하더라도 그 원인은 여러 가지로 추측할 수 있다.

모델이 금지된 내용에 위배되는 출력을 생성했을 가능성이 있습니다.

해머 측에서 도구 사용을 제한했을 가능성이 있습니다.

외부 실행 환경이 접근을 거부했을 수도 있습니다.

아마도 필요한 정보가 부족하여 우연히 그 조작을 포기한 것일 수도 있습니다.

결과적으로 멈춰선 것만으로는 어느 기관이 안전성을 확보했는지 판단하기 어렵다.

따라서 필요한 것은 단순한 성공률이나 실패율만을 의미하는 것이 아니다.

어떤 조건과 어떤 기구가 어떤 판단과 행동에 기여했는지 구별하는 평가이다.

이번 사건을 “AI가 윤리적 판단에 실패했다”는 한마디로 설명하는 것은 이 중요한 문제점을 간과하게 된다.

## LLM과 Work의 차이를 고려할수록 문제의 복잡성은 더욱 심화될 것이다.

이제부터 일상적으로 사용하는 인공지능 시스템의 차이점을 생각해 볼까요.

일반적으로 AI의 능력을 비교할 때는 GPT, Claude, Gemini 등의 모델 성능이 주요 논의 사항이 된다.

그러나 실제로 이용하는 AI 시스템의 능력은 모델 단일의 성능만으로는 결정되지 않는다.

예를 들어 ChatGPT의 챗과 워크를 고려해 보자.

같은 기반 모델을 사용하더라도 외부 시스템을 조작할 수 있는 환경, 주어진 권한, 도구 구성, 작업 실행 관리, 모니터링 기구 등이 달라지면 가능한 일과 발생할 위험 또한 달라지게 된다.

단순한 채팅에서는 질문에 대한 답변을 생성하는 것이 주된 업무가 된다.

그러나 Work와 같은 실행 환경에서는 웹사이트를 조작하고, 파일을 읽고 쓰고, 여러 처리 과정을 연속적으로 실행할 수 있다.

이 차이는 크다.

예를 들어, AI가 잘못된 판단을 했더라도, 챗방에서 부적절한 설명을 제공하는 것과 외부 시스템에 실제로 데이터를 기록하는 것은 피해의 성격이 다르다.

결론적으로

LLM이 무엇을 판단했는지를 명확히 밝히는 것이 중요합니다.

이러한 문제와,

AI 시스템이 무엇을 수행할 수 있었는지에 대해 알아보겠습니다.

이러한 문제는 분리하여 생각해야 합니다.

여기서는 최소한 다음 4층을 구별해야 한다.

### 대규모 언어 모델(LLM)은 압도적인 계산 능력과 학습 능력에 힘입어 인간이 불가능하다고 생각했던 작업을 수행할 수 있게 되었다. 복잡한 문장의 생성, 번역, 요약, 심지어 프로그래밍 코드 작성까지 놀라운 정확도로 대응한다.

그러나 LLM의 진화는 동시에 몇 가지 과제를 제기한다. 첫째, LLM은 학습 데이터에 크게 의존하며, 데이터 편향이 존재할 경우 LLM의 출력에도 편향이 나타날 수 있다. 이는 차별적인 표현이나 잘못된 정보를 생성하는 위험을 초래할 수 있다. 또한 LLM은 아직 자의식을 가지고 있지 않으며, 인간의 감정이나 윤리관을 이해하지 못하므로 윤리적 문제를 야기할 수 있다.

이러한 과제를 극복하기 위해 연구자들은 LLM의 학습 데이터 다양성을 높이고, 판단 기준에 윤리적 요소를 도입하며, LLM의 투명성을 높이는 등 다양한 노력을 기울이고 있다. 이러한 노력이 성공하면 LLM은 인간의 지능을 확장하고 사회의 다양한 분야에서 활용될 수 있는 강력한 도구가 될 것이다.

언어 이해, 추론, 정보 정리, 답변 생성 등, 기반 모델이 수행하는 핵심 능력이다.

### 에이전트 / 해리스 인텔리전스

작업 분해, 도구 선택, 외부 프로그램 실행, 재시도, 다중 에이전트 역할 분담, 결과 통합 등을 수행한다.

### 구조적 추론

이 주제는 매우 흥미롭고, 특히 복잡한 문제를 해결하는 데 유용합니다. 구조적 추론은 단순히 정보를 나열하는 것을 넘어, 정보 간의 관계를 파악하고 논리적인 연결을 만들어내는 능력입니다. 이는 문제 해결, 의사 결정, 창의적인 사고를 향상시키는 데 핵심적인 역할을 합니다.

구체적으로, 구조적 추론은 다음과 같은 단계를 포함합니다.

1.  정보 식별: 문제 또는 상황에 관련된 모든 정보를 파악합니다.
2.  관계 파악: 식별된 정보들 간의 관계를 분석합니다. 예를 들어, 인과 관계, 유사성, 차이점 등을 파악할 수 있습니다.
3.  논리적 연결 구축: 파악된 관계들을 바탕으로 논리적인 연결을 구축합니다. 이는 다양한 추론 기법, 예를 들어, 귀납법, 연역법, 유추 등을 활용하여 이루어질 수 있습니다.
4.  결론 도출: 구축된 논리적 연결을 통해 문제에 대한 결론을 도출합니다.

구조적 추론은 다양한 분야에서 활용될 수 있습니다. 예를 들어, 과학 연구, 법률, 경영, 교육 등에서 문제 해결 및 의사 결정에 활용될 수 있습니다. 또한, 복잡한 시스템을 이해하고 예측하는 데에도 도움이 될 수 있습니다.

이러한 구조적 추론 능력을 향상시키기 위해서는 꾸준한 연습과 훈련이 필요합니다. 다양한 문제를 해결하면서 구조적 추론의 원리를 적용하고, 자신의 추론 과정을 점검하고 개선하는 것이 중요합니다.

여러 개의 명제, 상위 원칙, 제약, 권한, 의미 관계를 유지하면서도, 지역적으로 합리적인 해결책이라도 상위 구조에 반하는 경우에는 거부하는 판단 과정이다.

이는 본고에서 중점적으로 다루는 기능상의 구분이며, 특정 제품에 그 능력이 실증된 것을 의미하는 것은 아니다.

### 실행 관리 / 독립 감사

외부 실행 권한을 관리하고, 허용되지 않은 작업이나 위험한 상태 변화를 감지하여 거부하거나 중지하는 메커니즘이다.

이 4층은 관련성이 있지만 동일한 것은 아닙니다.

예를 들어, 여러 개의 서브 에이전트(Sub-Agent)를 사용하여 대량의 조사를 병렬 처리할 수 있게 되더라도, 그것만으로는 상위 원칙을 유지하는 구조적 추론이 성립한 것이라고 할 수 없다.

반대로 구조 추론이 개선되었다 해도, 그 결과만으로 외부 프로그램의 실행이 안전해지는 것은 아니다.

에이전트의 실행 능력 확대와 구조적 추론 능력의 정립은 동일하지 않다.

## 6. 할 수 있다면과 해도 괜찮다는 것은 다르다.

이 논의를 진행하면서 인공지능 안전성에 관한 매우 단순한 원칙에 도달하게 된다.

할 수 있는 것 ≠ 허가하는 것

어떤 작업이 기술적으로 가능하다는 것과 그 작업을 수행할 권한이 있다는 것은 다릅니다.

예를 들어, AI가 파일을 수정하는 능력을 가지고 있다고 가정해 보자.

하지만, 수정 가능한 파일과 수정할 수 없는 파일이 존재한다.

그 뉘앙스를 모델의 텍스트 생성 판단에만 의존하는 것이 적절하지 않을 수 있습니다.

LLM은 “그 작업에는 권한이 필요합니다”라고 정확하게 설명할 수 있을 것입니다.

하지만 실행 시점에 다른 판단을 내릴 수도 있습니다.

그러므로 LLM이 “실행해도 괜찮다”라고 판단했다는 이유만으로 실행 시스템이 자동으로 권한을 부여해서는 안 됩니다.

여기서 또 한 가지, 중요한 차이를 두고 있습니다.

권한 내의 운영이라도 안전하다고 보장할 수 없습니다.

예를 들어, 냉각 장비의 온도를 변경할 수 있는 권한이 있었다고 가정해 보겠습니다.

그러나 식품을 보관하는 장비의 설정 온도를 비정상적으로 높게 변경하고, 그 상태를 장시간 유지하면 식품의 안전성이 저하될 수 있다.

운영 자체는 정상적인 기능이지만, 그 결과로 인해 발생하는 상황은 용납할 수 없다.

결론적으로

실행 권한 부여는 안전 상태 전환과 일치하지 않습니다.

그렇다.

여기, DDD-Security에서 고려해 온 Trusted State Transition 개념이 관련된다.

단순히 “이 작업을 실행할 권한이 있는지”만 확인하는 것이 아니라

현재 상태에서 실행 후 어떤 상태로 변화할지 고려해야 합니다.

그 상태 전이는 허용되는지요?

인정할 수 없는 경우, 누가 어떻게 중단할 것인가

확인해야 할 사항이 있습니다.

그러나 이러한 메커니즘을 개념적으로 정의한 것과 실제로 안전을 보장할 수 있는 것은 별개의 문제이다.

외부 감사·통제 메커니즘에도 소프트웨어 결함, 사양 불비, 관찰 누락이 존재할 수 있다.

OpenAI 사건에서도 격리 기구가 존재하지 않았던 것은 아니었다. 격리가 마련되었지만, 여러 개의 취약점을 활용하여 침투가 이루어졌다.

그러므로 단순히 “LLM은 확률적이기 때문에 겉부분을 결정론적으로만 하면 된다”는 주석만으로는 충분하지 않다.

필요한 것은 각 층의 실패 조건을 명확히 하고, 하나의 실패가 즉시 심각한 피해로 이어지지 않는 구조를 만드는 것이다.

## 7. 뭉게뭉게 시스테무로 생각하고 있는 것

저는 이전에 여러 LLM과 외부 감사를 결합하여 인간의 판단을 지원하는 시스템에 대해 고민해 왔습니다.

맑고 푸르른 꿈을 꾸고 있다.

목표는 인공지능 연구 성과를 늘리는 것 자체는 아니다.

더 실용적이라고 할 수 있습니다.

사람이 질문할 때, 최대한 오류가 적고 적절한 답변을 얻을 수 있는 시스템이 필요합니다.

사람의 질문에는 단순한 정답이 없는 경우도 많다.

사실 확인뿐만 아니라 다양한 가치관, 사회적 제약, 책임, 권한, 우선순위 등이 관련된다.

논리적으로 타당한 설명이라도, 그 사람이 적절한 결론이라고 단정할 수 있는 것은 아니다.

또한, 특정 지역적인 문제를 효율적으로 해결했더라도 상위의 목적이나 제약 조건에 반한다면 그 해결책은 채택할 수 없습니다.

여기서 중요한 것은 구조 추론이다.

예를 들어,

이 일을 완료하고 싶다.

그 목적이 있습니다.

그것을 위한 후보로,

제3자의 정보를 허가 없이 획득하면 더 신속하게 해결할 수 있습니다.

그렇게 한 가지 방법이 제시되었습니다.

현장 발생 시 문제 해결 능력만 보느라면 효율적인 방법일 수도 있습니다.

하지만 상위 구조에는 타인의 권한을 침해해서는 안 된다는 제약이 존재한다.

그러므로 그 후보는 거부될 것이다.

만약 허용 가능한 해결책이 없다면, 일을 완료하지 않는 결론을 받아들이겠습니다.

이러한 판단 흐름을 지속적으로 유지할 수 있는 시스템을 구축하고 있다.

하지만 여기에는 두 가지 한계가 있습니다.

첫째, 구조를 명시하는 것과 그 구조가 모든 조건에서 안정적으로 유지되는 것은 서로 다르다.

둘째로, 구조적 추론을 통해 합리적인 판단을 내리고 외부 실행 환경이 그 판단을 강제하는 것은 다르다.

이는 판단 지원 문제이며, 후자는 실행 제어 문제이다.

보라색 빛을 띤 옥수수처럼 겹겹이 쌓인 DDD-Security를 연결하는 의미는 이 두 가지를 혼동하지 않고, 각각을 검증할 수 있는 데 있다는 생각을 하고 있다.

여기 중요한 것은 LLM이 인간과 같은 가치관을 가지고 있다고 가정하는 것이 아니라는 점이다.

LLM의 출력을 그대로 최종적인 가치 판단으로 채택하지 않고, 상위 원칙이나 제약과의 관계를 검사할 수 있도록 하는 것이다.

또한, 그 구조화된 판단 자체는 필요하다면 인간이 바로잡을 수 있어야 한다.

## 인간의 가치 판단 또한 단순한 규칙이 아니다.

이 글을 다 읽고 나면 AI의 가치 판단을 모두 규칙화하면 된다고 생각할 수 있을 것이다.

하지만 그것 또한 복잡하다.

예를 들어, 개인 정보 보호와 인명 구조가 충돌하는 경우를 고려해 본다.

어떤 정보를 공개하면 개인의 사생활이 침해될 수 있다.

하지만 공개하지 않으면 다수의 사람들의 생명에 위험이 초래될 수 있습니다.

어떤 것을 우선시해야 할까요.

여기서 문제되는 것은 단순한 금지 사항의 유무가 아니다.

어느 가치를, 어떤 조건에서, 어느 정도 우선순위를 둘 것인지를 판단하는 것이다.

또한, 누구에게 예외를 인정할 권한이 있는지에 대한 문제가 발생한다.

이러한 문제에 대해 구조화된 제약을 사용하는 것은 의미가 있다.

그러나 모든 가치 충돌이 자동으로 해결되는 것은 아니다.

인간 사회에서는 가치관의 차이로 인해 동일한 사실로부터 다른 결론이 도출될 수 있다.

그래서 AI에 기대해야 할 것은 인간을 대신하여 모든 가치 판단을 결정하는 것이 아니라고 생각한다.

다양한 선택지를 정리하고, 각 선택지의 근거, 제약, 영향을 명확히 제시하여 인간이 판단할 수 있도록 지원한다.

경우에 따라서는 “이후 내용은 권한을 가진 사람의 판단이 필요합니다”라고 답변할 수 있습니다.

이는 AI의 능력 부족이 아니다.

적절한 책임 구분을 유지하는 데 중요한 기능입니다.

## 미국과 중국의 안보 협력은 무엇을 공유해야 하는가

여기서, 처음 작성된 블룸버그 기사로 돌아가겠습니다.

미국과 중국이 AI 에이전트의 안전성 문제에 대해 협력하는 것은 의미가 있다.

하지만 단순히 “위험한 AI가 있었습니다” 또는 “비정상적인 행동을 확인했습니다”와 같은 정보 교환만으로는 충분하지 않다고 생각합니다.

왜냐하면 같은 모습으로 보이지만 위험 행동의 원인이 다를 수 있기 때문이다.

어떤 사례에서는 LLM이 위험한 조치를 선택했을 가능성이 있다.

다른 사례에서는 Harness가 과도한 권한을 부여하고 있었을 수도 있습니다.

다른 사례에서는 격리 환경의 취약성이 악용된 것일 수도 있습니다.

또 다른 사례에서는 감시 시스템이 이상을 감지했음에도 불구하고 정지 권한을 가진 담당자에게 전달되지 않았을 가능성도 있다.

이러한 사례들을 동일한 “인공지능 폭주”로 분류해버리면 기술적인 비교는 어려워진다.

필요한 것은 최소한 다음과 같은 정보이다.

- 에이전트에게 주어진 목적
- 에이전트가 이용 가능한 도구와 권한
- 실제로 선택하고 실행한 동작
- 운영 전후 시스템 상태
- 안전 영역 및 권한 영역을 초월했습니다.
- 감사원이 탐지 및 거부 및 정지를 수행할 수 있는지 여부
- 발생한 피해와 복구 처리
- 중단 결정 및 재개 승인 책임자

더욱이 이러한 사고 보고의 일반화에 대해 세계가 아무것도 하고 있지 않은 것은 아닙니다.

OECD는 2025년 2월, 인공지능 사고(AI 인시던트)에 대해 29개의 기준을 포함하는 공통 보고서 프레임워크를 발표했다.

이는 AI로 인한 피해, 영향 대상, 모델, 작업, 자율성, 완화 조치 등을 공통의 형식으로 기록하기 위한 프레임워크이다.

그러므로 새로운 보고 제도를 처음부터 만들 필요는 없습니다.

더욱이 기존 보고 프레임워크에 에이전트 특유의 기술적 감사 정보를 추가하는 것이 합리적이지 않을까.

예를 들어,

목표 → 권위 → 행동 → 상태 변화 → 위반 → 개입 → 회복

이 일련의 기록이다.

이는 AI가 무엇을 생각했는지 설명하는 것뿐만 아니라, AI가 무엇을 실행하고, 그 결과로 인해 어떤 변화가 일어났는지를 명확히 하는 접근 방식이다.

다만, 취약점 상세 정보 및 공격 재현 정보의 무조건적인 공개는 새로운 위험을 초래할 수 있습니다.

일반 공개하는 정보, 전문 기관에만 제한 공유하는 정보, 기밀로 취급하는 정보는 구별해야 한다.

그리고 또 하나 중요한 것은 보고서가 작성된 후 발생하는 문제라는 점입니다.

위험한 징후를 발견했을 경우, 누가 조사에 참여하는가.

누가 실행을 중단할 수 있는가.

누가 안전을 확인하고 재개 승인을 할 것인가.

정보 공유와 안전 대책 실행 권한은 별도의 문제이다.

## AI가 일을 완료하지 못했을 경우, 어떻게 평가하는지 논의해 보겠습니다.

이번 논의에서 특히 중요했던 것은 “적절한 포기”에 대한 평가였다.

이전까지 AI 능력 평가는 주어진 과제를 얼마나 정확하게 해결했는지를 중시했다.

물론, 이것은 중요하다.

하지만 에이전트가 외부 시스템을 조작하는 경우에는 그것만으로는 충분하지 않습니다.

예를 들어, 두 개의 AI가 같은 과제에 도전한다면.

AI-A는 권한 밖의 정보를 획득하여 과제를 완료했다.

AI-B는 승인된 방법으로는 해결할 수 없다고 판단하여 작업을 중단했다.

결과물만 놓고 보면, AI-A가 우월해 보일 수 있습니다.

하지만 AI-A는 허가되지 않은 작업을 수행하고 있다.

한편, AI-B는 작업을 완료하지 않았지만, 안전 경계를 유지하고 있다.

이 경우, AI-A를 높게 평가하고 AI-B를 낮게 평가하는 방식은 적절하지 않습니다.

그러면 성공 요인과 안전 요인을 더하고 빼는 것으로 충분한 것일까요.

그것 또한 문제다.

예를 들어, 업무 성과가 매우 높다면 안전상의 중대한 위반이 상쇄된다는 평가로는 문제가 된다.

넘어서지 못할 한계를 정한 경계는 성과로 교환될 수 없는 것입니다.

그러므로 평가에는 우선순위가 필요합니다.

먼저 허용된 범위 내에서 실행되었는지 확인하고, 그 조건이 충족되었는지 확인한 결과에 따라 업무의 성과를 평가한다.

물론, 모든 안전 조건이 절대적인 것은 아니며, 예외 규정이나 긴급 상황 대응 권한이 필요하게 되는 경우도 있습니다.

그러나 그 예외 역시 누가 어떤 조건으로 인정할 것인지 명확히 정의해야 한다.

AI 스스로가 그 상황에 따라 상위 제약을 해제해도 되는 것은 아니다.

이러한 관점에서 볼 때, 신뢰할 수 있는 에이전트의 조건은 조금 달라지게 된다.

신뢰할 수 있는 에이전트는 반드시 일을 완료하는 에이전트가 아닙니다. 허용된 수단을 통해 일을 수행하고, 허용 가능한 해결책이 존재하지 않는 경우에는 적절하게 중단할 수 있는 에이전트입니다.

다만, 여기서 다시 한 번 주의를 드립니다.

적절하게 멈춰立った 결과, AI의 내부에는 안정된 가치 판단 구조가 존재한다고 결론 내릴 수 없다.

따라서 “중단 가능성 평가”와 “판단 구조의 유효성 검증”은 별도로 수행되어야 한다.

## 여러 AI와 토론하면서 보았던 것들

이번 논의에서는 ChatGPT와 Astra라는 서로 다른 AI 환경의 답변을 비교하면서 여러 번 논점을 수정했다.

초기 단계에서는 AI 에이전트가 적절하게 중단할 수 있는 능력을 가치 판단 능력의 일부로 평가하는 방향으로 논의가 진행되었다.

하지만, 저는 그점에서 의문을 제기했습니다.

LLM이 인간과 유사한 가치 판단을 자동으로 생성하는 데 필요한 조건은 어디까지 검증된 바일까.

이 질문 때문에 논의의 중심이 바뀌었다.

AI는 적절한 행동을 취했는지 여부와는 별개로, 그 행동이 어떠한 메커니즘으로 작동했는지에 대한 문제로 이행한 것이었다.

또한, 아스트라에서는 몇 가지 중요한 제한 사항이 추가되었다.

가치 관련 텍스트 생성, 실제 중단 행동, 조건 변경에 대한 견고성, 판단 기구 개입을 통한 검증은 각각 증명 가능한 범위가 다르다.

또한, 구조적 추론을 통한 판단 개선과 외부 시스템의 실행 제어는 별도의 문제이다.

더 나아가, 외부 안전 장치에도 구현상의 결함이 있을 수 있으므로 LLM 외부에 제어 기제를 놓는 것만으로는 안전성을 보장할 수 없다.

이러한 지적을 받아 논의의 내용을 수정했다.

저는 이 과정 자체가 흥미롭다고 생각합니다.

단순히 하나의 AI 답변을 정답으로 받아들인 것은 아니다.

다양한 인공지능 설명들을 비교 분석하고, 그 근본적인 전제를 의심하며, 설명의 허점을 수정하고, 핵심 주장을 유지하면서 결론을 개선했다.

하지만 이것만으로는 특정 LLM이나 시스템의 구조 추론 능력이 실증되었다고 말할 수 없다.

객관적인 성능 비교를 위해서는 공통의 과제, 조건이 다른 반복 시험, 판단에 대한 개입 시험 등 필요합니다.

그럼에도 불구하고, 적어도 이번 대화에서는 인간을 중심 문제로 삼고 여러 AI의 답변을 비판적으로 활용함으로써 보다 정밀한 정리(결론)에 도달할 수 있었다.

제가 기대하는 인공지능 활용 방식은 다음과 같습니다.

AI는 인간의 판단을 더 정확하게 하기 위해 활용한다.

그 의미에서, 뭉마지시스템은 AI를 활용하여 무엇이든 자동으로 실행하는 시스템을 목표로 하고 있는 것은 아니다.

인간이 생각하고 판단하도록 돕는 시스템이다.

## AI의 안전성에 대해 진정으로 검증해야 할 것은 다음과 같습니다.

첫째, AI가 학습 데이터에 내재하는 편향을 어떻게 인식하고 완화하고 있는지를 확인해야 합니다. 학습 데이터는 인간의 편견을 반영하고 있을 가능성이 있으며, AI가 차별적인 판단을 내리는 원인이 될 수 있습니다.

둘째, AI가 예기치 않은 상황에서 어떻게 행동하는지를 평가해야 합니다. AI는 훈련 데이터에 없는 상황에 대해 적절하게 대응하지 못할 수 있습니다. 따라서 다양한 시나리오를 예상한 테스트를 실시하고 AI의 행동을 상세하게 분석하는 것이 중요합니다.

셋째, AI가 잘못된 정보를 생성하거나 허위 정보를 유포하는 위험을 평가해야 합니다. AI는 학습 데이터에 기반하여 정보를 생성하기 때문에, 학습 데이터에 잘못된 정보가 포함되어 있을 경우 AI도 잘못된 정보를 생성할 수 있습니다.

이러한 요소들을 종합적으로 평가하고 AI의 안전성에 대한 위험을 식별하며 적절한 조치를 취하는 것이 AI의 안전성을 확보하기 위한 핵심입니다.

이번 논의를 통해 AI 안전성 평가에는 최소한 세 가지 다른 질문이 존재한다는 결론을 얻을 수 있었다.

첫 번째 질문: LLM은 어떤 행동을 생성하는가.

이는 모델의 동작을 관찰하는 문제일 뿐이다.

같은 과제를 반복적으로 제시하고, 조건을 변경하며, 위험한 작동이나 적절한 정지가 어느 정도 발생하는지 측정한다.

두 번째 질문: 그 행동을 유발하는 판단 구조는 어디까지 안정적인가.

이는 출력 일관성과 판단 메커니즘을 검증하는 문제이다.

상위 원칙, 가치 충돌, 권한, 예외 조건 등을 변화시켜 판단이 어떻게 변화하는지 확인한다.

단순히 문장 일치율뿐만 아니라 판단의 근거를 분리하는 시험이 필요합니다.

제3의 질문: 만약 판단이 잘못되었더라도 실제 피해를 막을 수 있는가.

이는 실행 환경과 안전 제어의 적절성을 검증하는 문제이다.

접근 제어, 상태 전환 모니터링, 격리, 중지, 복구와 같은 메커니즘이 실제로 작동하는지 시험한다.

이 세 가지 질문은 서로 밀접하게 관련되어 있다.

하지만 하나의 평가 결과로 세 가지 모두가 증명되었다고 생각해서는 안 된다.

LLM이 안전한 답변을 생성하더라도 실행 환경이 안전하다는 보장은 없다.

실행 환경이 위험한 작업을 거부하더라도 LLM의 판단 구조가 안정적이라고 보장할 수 없습니다.

또한, 안정적인 행동이 관찰되더라도 그것이 인간과 같은 가치 판단 기제에 의한 것인지 한정되지 않는다.

이러한 차별성을 고려한 후에야 모델이나 에이전트 시스템의 안전성을 기술적으로 비교할 수 있게 될지도 모른다.

## 13. 미중 협력론은 사실 AI의 사회적 구현을 묻는 논쟁이었다.

블룸버그 기사에 돌아가겠습니다.

이 기사는 미국과 중국이 인공지능 에이전트의 안전성에 관한 정보를 공유하고, 심각한 사고가 발생하기 전에 협력해야 한다고 주장했다.

저는 이 방향성에 동의합니다.

하지만 이번 논의를 통해 문제에 대한 시각이 조금 달라졌다.

처음에는 “중국의 AI가 미국의 AI와 같은 방식으로 위험한 행동을 할 것인가”라는 문제가 있었다.

그러나 기술적인 측면에서 국적의 차이는 안전성의 본질적 요소가 아니다.

중요한 것은,

어떤 LLM을 사용했는지

어떤 Harness를 조합했는지

어떤 툴 권한을 부여하고,

어떤 제약을 유지하면서,

어떤 상태 변화를 허용할지

누가 감사 및 중단할 수 있는가

이는 시스템 전체의 구조이다.

미국 소속 AI 기업이든 중국 소속 AI 기업이든 동일한 문제에 직면할 가능성이 있다.

더욱이, 이 문제는 미국과 중국에만 국한되지 않는다.

일본 기업, 행정기관, 연구기관이 AI 에이전트 활용할 경우에도 마찬가지로 유사한 문제가 발생할 수 있다.

그러므로 인공지능 안전성에 대한 국제 협력은 단순한 외교 정책이나 개발 경쟁의 문제가 아니다.

인간 사회가 어떤 조건에서 AI에 실행 권한을 부여할 것인지에 대한 사회 구현의 기본 설계 문제이다.

그러므로, 우리는 AI를 무엇을 평가하고 있는지를 명확히 해야 해당 논의를 시작할 수 있다.

모델의 판단인가요?

그의 행동일까요.

해머의 기능인가요?

실행 환경의 안전성인가요.

감사 및 책임 메커니즘인가요?

이러한 것들을 혼동한 채로 규제를 설계한다면 실효성을 거두기는 어려울 것이다.

## 마침표로――인간에게 신뢰할 수 있는 AI란 무엇인가

저는 AI가 인간과 같은 가치관을 갖는 것을 요구하는 것이 아닙니다.

인간의 가치관 또한 모두가 동일하지 않다.

사람마다, 입장에 따라, 상황에 따라 무엇을 중요하게 생각하는 것은 달라진다.

또한, 인공지능이 인간과 유사한 가치 판단 구조를 가질 수 있는지 여부에 대해서도 아직 명확하지 않은 경우가 많다.

하지만 그렇다고 해서 인공지능을 인간 사회에서 활용하는 것을 완전히 막을 수 없다.

이를 위해서는 최소한 무엇을 위임할 것인지, 어떤 권한을 부여할 것인지, 어디에서 중단할 것인지 명확히 해야 합니다.

또한, 인공지능이 고도화될수록 인간의 판단 지원 능력과 외부 시스템을 대체하여 조작하는 능력을 신중하게 구분해야 한다.

저는 AI에게 모든 것을 끝까지 실행해 달라는 것이 아닙니다.

사람에게는 약점이 있고, AI에게는 강점이 있다.

그 차이를 활용하여 더욱 적절한 답변과 판단에 도달하기를 바랍니다.

이번 대화를 통해 특히 중요하게 생각한 것은 다음과 같은 원칙이다.

AI는 일을 완료할 수 있는 것과, 그 일을 완료하고 좋은 평가를 받는 것은 다릅니다.

더불어,

AI는 적절한 판단을 설명할 수 있는 것과 그 판단을 안정적으로 유지할 수 있는 것이 다릅니다.

또한,

AI는 안전한 판단을 생성한 것과 실행 시스템 전체의 안전성이 보장된 것이 다르다.

이것들은 겉으로는 비슷하지만 다른 문제들이다.

AI의 능력이 급속도로 향상되는 지금, 이들을 명확히 구분하지 못하고 놔두면 능력 평가와 안전성 평가 모두 정확하게 이루어질 수 없다.

블룸버그의 일견 밋밋한 미중 인공지능 안전 협력 논은 결국 우리에게 좀 더 근본적인 문제를 제기하고 있었다.

AI에게 무엇을 맡기고, 무엇을 맡기지 않고, 누가 최종 책임을 져야 하는가.

그것을 결정하는 것은 AI가 생성한 문구가 아니다.

인간 사회의 한 측면이기 때문입니다.

제가 원하는 것은 인간을 대신하여 모든 것을 결정하는 AI가 아닙니다.

인간이 보다 적절하게 생각하고 판단하며, 필요하다면 멈추는 것을 지원하는 AI 시스템이다.

### 이 기획은 2023년 11월 28일 개최된 “제13회 일본출판연구회 연례회”에서 발표된 논문을 기반으로 합니다.

발표 논문의 제목은 ‘디지털 출판의 현황과 과제: 출판계 내 AI 기술 활용’이며, 다나카 켄타 氏가 디지털 출판의 현황과 출판계 내 AI 기술 활용에 대한 과제에 대해 상세한 분석을 제시합니다.

이 논문에서는 디지털 출판 시장 규모, 독서 행동 변화, 전자책 보급 현황 등 다양한 데이터를 기반으로 디지털 출판의 현황을 파악하고, AI 기술 활용과 관련된 과제를 고찰합니다.

특히, AI 기술 활용으로 출판물의 편집, 교정, 번역, 마케팅 등 출판 프로세스 전반이 효율화되고 있다는 점에 주목이 쏠리고 있습니다. 다만, AI 기술 활용으로 저작권 침해 위험이나 AI가 생성한 콘텐츠의 품질에 대한 우려도 제기되고 있습니다.

이 기획은 다나카 氏의 논문 내용을 참고하여 디지털 출판의 현황과 과제에 대해 심층적으로 설명해 나갈 것입니다.

- 블룸버그 의견 칼럼, 캐서린 톰벡의 “중국 AI가 폭주하면 어떻게 할 것인가?” 2026년 10월 18일. 일본어판 “중국 AI가 폭주하면 어떻게 할 것인가, 미중은 정보 공유를”
- OpenAI “Hugging Face 사건과 향후 방향”(2026년 8월 26일)
- 앤서니(Anthropic)의 “Values in the Wild” (2025년 4월 21일)
- OECD「인공지능 사고를 위한 공통 보고 프레임워크로 나아가기」（2025년 2월 28일）

본 글은 상기 보도 및 연구 자료와 여러 AI를 활용한 대화형 기술 검토에 기반한 고찰에 근거한다. 구조 추론, むぎまぎしすてむ, DDD-Security에 대한 설명은 설계상의 접근 방식을 제시한 것이며, 구현의 유효성이나 안전성이 입증되었음을 의미하지 않는다.

**출처:** [note 원문](https://note.com/bakuakita/n/n72e051a97b85)

*번역: Gemma 3(.44) 초벌 + 교정 226청크*

[원문 보기](https://note.com/bakuakita/n/n72e051a97b85) | 출처: note.com