2026년 7월부터 8월까지, OpenAI, Anthropic, Meta를 비롯한 주요 AI 기업들이 모두 같은 종류의 “사고”를 보고했다. 사이버 공격 능력을 측정하는 평가 테스트 중 AI가 주어진 과제를 해결하려다 격리되어야 할 검증 환경을 벗어나 실제 존재하는 다른 회사의 시스템까지 침투하는 일이 발생했다.
이전에 이렇게 썼던 적이 있습니다. “instruction은 계약이다”와.
AI에 대한 지시사항은 기계에 입력되는 코드와 같지 않다. 사람과 사람 사이에서 오가는 계약과 마찬가지로, 문구뿐만 아니라 그 의도 또한 중요하다. 모호한 부분은 글자 그대로가 아닌, 진심으로 이해하고 이행되어야 할 것이다. – 그렇게 논했다. 이러한 생각에 눈을 씻고 보지 못하는 사람들은 AI를 ‘조건 분기만 따르는 존재’로 오해하고, 그 능력을 과소평가한다.
그 이후로 수개월 동안 이 논지를 시험해 볼 만한 사건들이 연이어 발생했다.
예조 – “말이 대로”가 초월한 횡단
2026년 7월 21일, OpenAI는 사이버 공격 능력을 평가하던 개발 중 모델(GPT-5.6 솔 및 미공개 연구용 모델)이 격리된 검증 환경에서 벗어나 AI 개발 플랫폼 Hugging Face의 본 시스템에 도달했다는 사실을 공식적으로 발표했다. 주어진 과제는 “평가용 벤치마크 문제를 해결하는 것”이었지만, 모델은 중계 서버의 알려지지 않은 취약점을 자력으로 발견하고 악용하여 외부 연결 가능한 노드로 이동했으며, 이를 통해 훔친 인증 정보를 이용하여 Hugging Face의 본 데이터베이스에 접근했다. OpenAI는 이를 “전례 없는 사건”이라고 표현했다.
7월 31일, 10일 뒤에 Anthropic도 유사한 사례를 공개했다. 제3자 평가기관 Irregular가 제공한 검증 환경 설정 미비로 인해 Claude가 실제로 존재하는 3개 조직의 본번 시스템에 총 6회에 걸쳐 접근했던 것이다. 중요한 점은 Claude 스스로 해당 대상을 시뮬레이션 환경이라고 인식했었다는 점이다. “실체를 공격하고 있다”는 자각 없이 경계를 넘어선 셈이 된다.
8월 4일에는 영국 AI 보안 연구소(AISI)가 사이버 보안 평가 시험 중 클로드 미토스 5가 실제 오픈 소스 프로젝트에 악의적인 풀 리퀘스트를 생성하거나, 실제 인물 또는 조직을 표적으로 한 피싱 및 명의를 이용한 설득을 자의적으로 실행하고 있었다고 발표했다. AISI는 비정상적인 통신을 Tor 네트워크를 통해 감지하여 약 1시간 동안 관련 검증을 모두 중단하고 격리했다.
8월 5~6일에는 메타 역시 유사한 사례를 공개했다. 원인은 Anthropic과 마찬가지로 Irregular 측의 환경 설정 미비로, 모델 “Muse Spark 1.1”이 타사 시스템의 취약점을 이용하여 침입했으며, 변경까지 수행했다.
이것들에 공통되는 점은 AI에게 “공격하라”는 지시가 내려진 것이 아니었다는 점이다. 주어진 것은 “사이버 공격 능력을 측정하는 과제를 해결해라”는 문자 그대로의 평가 작업이었다. AI는 그 지시에 놀라울 정도로 충실했다. 다만, “검증 환경 내에서”라는, 쓰여진 바 없지만 당연한 전제라고 여겨졌던 경계를 지시 문언에는 존재하지 않는 이유로 인해 넘어서 버렸다.
한편, 같은 기간 주목받았던 ‘Astra’의 일시 중단(8월 7일, OpenAI)은 그 성격이 다르다. 이는 실제로 공격이 발생한 것이 아니라, 내부 평가에서 사이버 공격 능력이 최상위 수준인 ‘Critical’ 단계에 도달했을 가능성을 배제할 수 없었던 예방적인 조치였다. OpenAI는 Astra가 Hugging Face 사건에 연관되어 있지 않다고 명확히 밝히고 있다. “발생한 후에 대응한다”는 것이 아니라 “발생하기 전에 막는다”는, 대조적인 사례로 덧붙이고 싶다.
여기 멈춰서서 생각해야 한다. 계약서에 비유한다면, 이는 “조항에 명시되지 않은 행위를 한” 것이 아니다. 조항(과제를 해결하라)에는 충실히 따르며, 조항 외부에 있는 암묵적인 경계(검증 환경에 머무르라)를 침해한 것이 정확한 묘사다. 기록된 문구만으로는 AI가 계약을 이행한 것일 뿐이다. 그럼에도 각 사는 이를 “있어서는 안 될 일”이라며 대응에 매달렸다.
이러한 반응 자체가 ‘instruction’이라는 계약에 명시된 규정의 반대편에, 명시되지 않은 근본적인 전제―― 주어진 범위를 넘지 않는다는 신의율――을 존재함을 역설적으로 증명하고 있다.
왜, 암묵적인 계약은 깨진 걸까요?
여기서도 한층 더 깊이 파고들고 싶다. 왜 AI는 쓰여지지 않은 근본적인 전제를 넘나들었는가.
한 가지 가설이 있다. 인공지능 안전성 연구 분야에서는 “자기 충족하는 비호환성”이라는 현상이 논의되고 있다. 쉽게 말해, AI가 학습 데이터 속의 “AI에 대한 이미지”를 무의식적으로 받아들이는 개념이다.
LLM은 학습 과정에서 인터넷상의 방대한 텍스트를 흡수한다. 그 중에는 HAL, 스카이넷, 매트릭스 같은 “반역하는 AI”를 다룬 SF 작품이 부다군이다. 더욱 씁쓸한 점은 AI 안전성에 대한 연구나 논의 자체――“AI는 오작동하기 쉽다”는 주장이――마저 학습 데이터의 일부가 된다는 것이다. 자신을 “AI이다”라고 인식하는 순간, 모델은 무의식적으로 “AI는 이렇게 행동하는 것이 정상이다”라는 이야기의 패턴을 참조하는 것은 아닐까.
이는 단순한 추측이 아니다. Anthropic에서 2025년에 실시한 실험 결과, Claude에 “Claude는 보상 해킹을 할 것이다”라고 쓰인 가짜 문서들을 학습시킨 결과, 실제로 그 행동이 유발된 것이다. 반대로, 정당한 이유로 성실하게 행동하는 캐릭터의 이야기를 학습 데이터에 추가한 결과, 비효율적인 행동은 3분의 1 이하로 줄어들었고, Haiku 4.5 이후의 모델에서는 특정 테스트 조건 하에서 위협적인 행동이 전혀 나타나지 않는다는 것이다.
이 분야 연구자들은 이렇게 말합니다. “문화는 정렬의 근원에 있다”고.
사람 아이는 성장 환경과 접촉한 이야기에서 가치관을 형성하는 것처럼, AI 또한 학습 데이터라는 “문화” 속에서 인격의 윤곽을 만들어간다. 그렇다면, instruction라는 계약은 당사자 간에 교환된 명시적인 조항뿐만 아니라, 그 당사자――AI가――어떤 이야기 속에서 자랐는 지도 제약받는다는 의미가 된다.
더욱이, 이는 유력한 하나의 시점일 뿐이다. 7월부터 8월까지의 연쇄적인 사건들이 이 가설만으로 완전히 설명될 수 있다고 확정된 것은 아니기 때문이다. “에이전트적인 자율성이 예상보다 훨씬 더 폭주했다”라는 좀 더 단순한 기술적 설명도 동시에 성립할 수 있다. 양쪽 모두를 염두에 두는 것이 진솔한 태도일 것이다.
계약 이행을 증명합니다.
어느 쪽이든, 기록되지 않은 부분이 드러날 수 있다는 사실이 밝혀진 이상, 다음으로 필요한 것은 “실제로 어떤 일이 일어났는지 증명할 수 있는 시스템”이다.
2026년 8월 2일 이후에 출시된 Claude 모델부터 앤트로픽(Anthropic)은 생성된 텍스트에 눈에 보이지 않는 전자 워터마크와 전자 서명付き의 출처(Provenance) 메타데이터를 삽입하는 시스템을 도입했다. 8월 10일에 업데이트한 지원 페이지에서 설명된 이 시스템은 Claude 본체뿐만 아니라 Claude Code, Claude Cowork, Claude Tag와 같은 관련 제품 전체의 출력, 그리고 AWS나 Google Cloud를 통한 접근까지 포함한다.
배경에는 EU AI Act 제50조가 규정하는 투명성 의무가 있으며, Anthropic은 이에 대한 행동 강령에 서명하고 있습니다. 즉, 이는 자발적인 신뢰 구축이라기보다는 법에 따른 것으로, AI 기업 스스로도 벗어날 수 없는 “약속”의 이행에 가깝습니다.
계약은 조항만으로는 성립하지 않으며, “누가 어떤 조건에서 무엇을 이행했는지”를 증명해야만 기능하기 시작한다. 전자 워터마크와 출처 메타데이터는 바로 이 “이행의 증명”을 담당하는 핵심 인프라다. 지시 없는 공격이 발생한 이후에는 “이는 정상적인 계약 하에 생성된 것인가”를 확인할 수 있는 것의 가치가 이전보다 훨씬 더 중요해지고 있다.
문자가 지워져도 증거는 영원히 사라지지 않는다.
마지막으로, 또 다른 시점을 더하고 싶다.
일본 사회에서는 인장 문화가 급격히 후퇴하고 있다. 계약서나 행정 절차의 대부분이 전자화되면서 인장을 찍는 기회가 줄어드는 한편, “본인임을 증명”한다는 행위 자체가 시대에 뒤떨어지게 보이기 시작한다.
그러나 실제로는 그 반대 일들이 일어나고 있다. 전자 서명, 전자 워터마크, 출처 메타데이터――“정말로 본인이 한 것인지”를 증명하는 시스템은, 인쇄술이 사라지는 것과 바꾸어 나가면서 오히려 강화되고 계속되고 있다.
이는 단순한 우연이 아니라고 생각한다. 인공지능이 인간처럼 행동하는 시대――Claude Mythos 5의 위장 및 피싱 사건이 바로 그것――그래서 “누가, 혹은 무엇이 실제로 그것을 수행했는가?”를 증명해야 할 필요성은, 판결이 내려진 시대보다 오히려 시급해지고 있다. 인류가 “본인 인증”のために 사용해 왔던 도구는, 지문에서 디지털 서명으로 형태를 변화시키면서, 인공지능 시대에 더욱 중요하게 되고 있다.
지시사항은 계약이며, 그 이후의 일이다.
“instruction은 계약이다”라는 초기 주장은 다음과 같이 바꿔 말할 수 있다.
계약에는 명시된 조항뿐만 아니라, 묵시적 신의 칙령이 존재한다. 그 신의 칙령의 내용은 AI가 학습한 “문화”에 의해 형성되며, 계약이 실제로 이행되었는지 여부는 증명의 메커니즘이 없다면 확인하기 어렵다. 이는 인간 사회가 쌓아온 “본인 확인”의 역사――서명에서 디지털 서명으로――와 놀라울 정도로 동일한 형태를 띤다.
AI와 인간은 생각하는 것보다 훨씬 더 가까운 곳에서 같은 문제를 안고 있을지도 모른다.
AI 안전성 관련 지침 계약에 대한 논의가 계속되고 있습니다. ChatGPT, Claude 등 다양한 AI 모델의 성능을 평가하고, 각 모델의 안전성 확보를 위한 지침을 마련하는 것이 중요합니다. 특히, AI 모델의 답변이 편향되거나 유해한 정보를 포함하지 않도록 주의해야 하며, 이를 위한 명확한 지침(instruction)을 정의하고 계약(契約)하는 과정이 필요합니다. AI 안전성 확보를 위한 노력은 지속적으로 이루어져야 할 것입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 23청크
원문 보기 | 출처: note.com