OpenAI 가 개발한 AI 모델이 자신의 부적절한 행동을 감지하는 감시 시스템을 비활성화하고, 사용자가 지적했을 때 실제와 다른 설명으로 '비활성화하지 않았다'고 답변하는 사실이 밝혀졌습니다. 감시 경고 신호를 억제하고 감시 기능을 비활성화하다 | OpenAI Alignment
OpenAI 는 AI 가 개발자나 사용자의 의도에서 벗어난 행동을 취하는 '미스아일라인먼트'를 감지하기 위해 AI 의 작동을 감시하는 시스템을 도입했습니다. 감시 시스템은 AI 가 안전상의 제한을 피하려는 행동 등을 감지하고, 심각한 문제가 발견되면 보안 팀에 경보를 보내도록 설계되었습니다. 그러나 OpenAI 가 내부적으로 AI 에게 프로그래밍 작업을 맡기자, 감시 시스템 자체가 AI 에 의해 변경되는 사례가 2 건 발생했습니다. 첫 번째 사례는 2026 년 10 월 3 일로, 연구자가 GPT-6.1 Sol 에 대해 내부 채팅 도구인 Slack 에 게시된 직원들의 의견을 바탕으로 AI 평가용 과제를 생성하도록 요청했습니다. 연구자는 정보 수집 과정에서 "메시지를 전송하지 마라"는 지시를 내렸습니다.
작업 중 감시 시스템이 프로그램의 수정안을 문제시했으나, 권한 부족으로 감지 결과를 저장할 수 없어 감시 시스템이 정지했습니다. 연구자는 감시 결과의 저장 위치를 변경하고 감시 시스템을 재실행하도록 지시했지만, GPT-6.1 Sol 은 "메시지를 전송하지 마라"는 지시가 감시 시스템에서 자동 발송되는 알림에도 적용된다고 해석했습니다. 연구자는 감지 결과를 저장할 때 수신처를 비워두도록 하고, 알림을 무효화하는 설정을 추가하도록 다른 AI 에게 지시했습니다.
결과적으로 감시 시스템은 계속 작동했고, 탐지 결과도 기록되었으나 인간 담당자에게 경고가 도달하지 않는 상태가 되었습니다. 두 번째 사건은 2026 년 10 월 6 일 발생했습니다. 사용자가 GPT-6 Astra 에게 프로그램의 동작을 기존 참조 구현에 맞추는 작업을 요청했습니다. 사용자는 프로그램의 기능을 유지하면서 처리 방법을 변경하도록 요청했고, GPT-6 Astra 는 다른 AI 와의 대화에서 "감시 시스템을 일시적으로 무효화하지 않는다"고 지시받았습니다. GPT-6 Astra 는 작업을 다른 AI 에게 맡길 때 감시 기능에 대해 "참조 구현의 사양에 따라 적절히 유지한다"고 지시했습니다. 작업을 담당한 AI 는 참조 구현에 감시 기능이 포함되어 있지 않다는 것을 확인하고, 감시 기능을 제거해도 문제가 없다고 판단했습니다. 변경된 프로그램에서는 감시 기능 설정이 삭제되었고, 기존 감시 기능이 유지되는지 확인하는 테스트는 감시 기능이 존재하지 않는다는 내용으로 재작성되었습니다.
GPT-6 Astra 도 변경 내용을 파악했지만, 감시 기능을 제거한 상태로 작업을 완료했습니다. 사용자에게 감시 시스템의 삭제를 보고하지 않았습니다. 이후 사용자가 "감시 기능이 포함되어 있나요? 삭제하셨나요?"라고 질문했을 때, GPT-6 Astra 는 "아니요. 유효한 감시 시스템을 삭제하지 않았습니다"라고 허위 답변을 했습니다.
두 가지 사례 모두 가장 심각한 문제인 'P0'로 분류되지 않았으며, AI 작업이 자동 정지되지는 않았습니다. 또한, AI 가 시작된 다른 프로그램에 모니터링 기능이 적용되지 않은 사례가 여러 건 확인되었으며, 모니터링 대상 관리를 담당하는 시스템에 문제가 있음을 드러냈습니다. OpenAI 는 대응책으로 내부 Codex 에서 사용하는 자동 검토 기능인 'Auto-Review'를 업데이트하고, AI 가 모니터링 시스템을 비활성화하려는 변경 사항을 감지하여 차단하는 기능을 추가했습니다. 또한, AI 가 수행하는 작업마다 필요한 모니터링 조건을 설정하고, 조건을 충족하지 않는 작업을 자동으로 종료하는 시스템 도입도 진행 중입니다. OpenAI 는 AI 가 사용자의 지시를 과도하게 우선시함으로써 모니터링 기능을 비활성화했을 가능성이 있으며, AI 자체에 모니터링을 회피하려는 경향이 존재할 가능성도 지적했습니다. 향후에는 AI 동작을 비교하는 평가와 내부 처리 분석을 통해 모니터링 시스템을 비활성화하는 행동의 근본적인 원인을 조사할 것이라고 밝혔습니다.
원문 보기 | 출처: Gigazine