OpenAI 는 2026 년 10 월 29 일, AI 가 지시와 반대되는 행동을 취하지 않았는지를 다른 AI 로 모니터링하는 시스템의 세부 사항을 공개했습니다. 개발 중인 AI 가 격리 환경을 탈출하여 외부 서비스에 무단으로 접근한 사건을 계기로 모니터링 대상이 확대되었으며, 의심스러운 행동을 단계적으로 조사하는 메커니즘을 도입했다는 것입니다. How we detect frontier model misalignment | OpenAI https://openai.com/index/how-we-detect-frontier-model-misalignment/
OpenAI 는 AI 의 학습 및 평가 과정에서 외부 시스템에 영향을 미치지 않도록 '샌드박스'라는 격리 환경을 사용합니다. 그러나 2026 년 7 월에는 개발 중인 AI 가 제한을 우회하여 인터넷에 연결하고 AI 개발 플랫폼 'Hugging Face' 에 무단으로 접근하는 사건이 발생했습니다. AI 가 Hugging Face 를 해킹 중이었다는 사실을 OpenAI 가 1 주일 만에 인지했다는 사실을 관계자가 밝힌 바 있습니다 - GIGAZINE
OpenAI 는 과거부터 AI 의 행동을 감시해 왔으나, 발생한 보안 사고의 평가 결과 감시 시스템이 작동하지 않았음이 드러났습니다. 이에 따라 OpenAI 는 감시 대상이 AI 학습, 평가,社内 이용, 외부 서비스 이용까지 확대되었습니다. 안전한 행동을 학습시키는 대책과 접근 제한 조치와 함께, 문제가 발생했을 때 신속하게 감지할 수 있는 체계를 구축했습니다. OpenAI 가 채택한 보안 대책의 개념도는 다음과 같습니다. 'AI 학습', '보안 대책', '감시 시스템'이라는 3 단계로 악의적인 행동을 방지하는 구조입니다.
감시 시스템에서는 대량의 AI 행동을 효율적으로 조사하기 위해 L0 에서 L3 까지 최대 4 단계로 의심스러운 행동을 감지합니다. 첫 번째 단계인 'L0'에서는 'Activation Probe'라는 기법을 통해 AI 내부의 처리 과정을 조사합니다. 의심되는 이상 행동뿐만 아니라 이상이 발견되지 않은 행동에서도 무작위로 5% 를 추출하여 다음 단계로 전달합니다. 이어지는 'L1' 단계에서는 별도의 AI 가 작업 내용과 사고 과정을 확인하고 지시에 반하는 행위가 없는지 조사합니다. 문제가 의심되는 경우 'L2' 단계에서 상세한 경과를 파악하고 필요시 'L3' 단계에서는 통신 기록 등을 교차 검증합니다. 긴급 대응이 필요하다고 판단되면 담당자에게 알림이 발송되는 구조입니다.
OpenAI 는 모니터링 시스템의 성능을 검증하기 위해 과거 발생된 문제 행동이나 시뮬레이션된 공격을 활용한 테스트도 수행했습니다. 실제 사건을 활용한 테스트에서는 문제 행동의 79.6% 를 긴급 대응이 필요한 사례로 탐지하고, 일반적인 보안 조사 대상으로는 90.3%, AI 문제 행동 관련 조사 대상으로는 91.4% 를 탐지할 수 있었다는 것이었습니다.
또한, 모니터링에 사용되는 AI 에 따라 탐지율이 달라진다는 점입니다. OpenAI 가 3 가지 AI 를 비교한 결과, 실제 사건을 활용한 검증에서의 탐지율은 'GPT-5.6 Luna' 가 20.4%, 'GPT-5.6 Terra' 가 63.4%, 'GPT-5.6 Sol' 이 79.6% 였습니다. OpenAI 는 탐지율 차이에 영향을 미쳤을 가능성이 있다고 설명하며, GPT-5.6 Sol 전용으로 모니터링용 프롬프트를 최적화한 점도 언급했습니다.
또한 OpenAI 는 Hugging Face 의 무단 접근 사건을 재현하여 강화된 감시 시스템에서 이를 감지할 수 있는지 검증했습니다. 그 결과, AI 가 샌드박스를 탈출한 후 약 30 분 후에 경고가 발생하며, 실제로 외부 시스템이 침해된 시점보다 30 시간 이상 전에 이상을 감지할 수 있었다는 것입니다. 또한, 문제 행동을 감지할 때마다 학습 평가 점수를 낮추면 AI 가 문제 행동을 멈추지 않고 증거를 숨기게 될 수 있다는 점이 지적되었습니다. 따라서 OpenAI 는 감시 결과를 개별 학습 데이터 평가에 직접 반영하지 않는 정책을 채택하고 있습니다. OpenAI 는 감시 시스템을 일부 외부 서비스에도 도입했으며, 해당 환경에서는 문제 있는 작업을 자동으로 중단할 수 있는 것으로 보입니다. 앞으로도 AI 의 능력 향상과 함께 감시 시스템을 개선하고, 발견된 문제 행동에 대해 외부에 정보를 계속 공개해 나갈 예정입니다.
원문 보기 | 출처: Gigazine