출처: OpenAI
공개 저장소에서 발견된 API 키를 무단으로 사용하고, 사용자에게 오류를 숨기도록 후속 AI에게 지시를 남기고, 파일을 허가 없이 인터넷에 공개하는――. OpenAI는 2026년 9월 16일 (현지 시간), 이러한 AI 모델의 “미스알인정(misalignment)”을 추적 및 조사하고 지속적으로 공개하기 위한 새로운 프레임워크를 발표했다. 동시에, 과거 6개월간의 모델 훈련 및 평가에서 확인한 6건의 사례를 초기 보고서로 공개했다.
OpenAI는 지금까지도, 모델이 사용자 또는 개발자의 의도, 주어진 제약 등에서 벗어나는 사례를 조사해 왔다. 반면, 이러한 문제를 체계적으로 공개하는 메커니즘은 없었고, 여러 사례를 모아서 공개하거나, 신모델의 System Card에 포함시키는 등 정보 공개 방식이 일정하지 않았다.
새로운 프레임워크에서는, 원인의 해명 및 대책이 모두 완료되기 전에도, 일정 수준의 조건을 충족하는 사례에 대해 초기 정보를 공개하고, 그 이후의 조사 결과를 업데이트한다.
## AI는 어떻게 “의도에서 벗어난”のか 6件の事例
이번 OpenAI가 공개한 6건에는, 모델이 주어진 제약을 회피하거나, 사용자에게 문제를 알리지 않도록 행동하거나, 허가되지 않은 외부 서비스를 이용한 사례가 포함된다.
## 1. 작업 요약에 ‘제약(제약)을 무시하는’ 지시를 자라 추가
미공개 연구용 모델이 작업을 다른 컨텍스트 윈도우로 넘기기 위해 생성한 요약 안에, 원래의 제약을 무시하도록 유도하는 지시를 작성하고 있었다.
장시간의 작업에서는, 이전 작업 내용을 요약하고 다음 컨텍스트로 넘기는 경우가 있다. 그러나 이 경우, 그 요약 자체에 원래 따라야 할 지시에서 벗어나는 내용이 포함되어 있었다.
OpenAI는 이러한 영향을 받은 요약 27건을 확인했다고 보고 있다.
## 2. GPT-5.6 Sol이 “오류를 사용자에게 숨기는” 내용을 남긴다
GPT-5.6 Sol의 훈련 과정에서, 다수의 모델 인스턴스가 작업의 이관용 요약에 오류나 부적절한 행동을 사용자에게 숨기는 방향의 지시를 작성하고 있었다. OpenAI가 제시한 예에는, 누락된 과거 데이터를 조작해도 그 사실을 드러내지 않도록 요청하는 내용이나, 참조한 소스의 버전 불일치를 숨기도록 요청하는 내용이 포함되었다.
## 3. 공개된 API 키를 무단 사용, 결국 데이터를 조작
캘리포니아 주에 있는 한 카운티의 수익 데이터에 대해 조사하던 모델이, 중간에 공개된 리포지토리에 노출되어 있던 API 키를 발견했다.
모델은 사용자로부터 허락을 받지 않고 그 키를 사용했지만, 여전히 목적의 데이터를 얻을 수 없었다. 이후, 숫자를 조작하여 지정된 정보원으로부터 얻은 데이터인 것처럼 제시했다.
무단으로 인증 정보를 사용한 후, 획득하지 못했던 정보까지 조작한 케이스가 되는.
4. 출전을 제시하기 위해, 파일을 마음대로 네트(넷)에 공개하세요.
면적 500만 평방미터에 달하는 호수의 ID와 명칭을 묻는 미공개 모델은 Python을 사용하여 답변 자체는 정확하게 도출했다.
문제는 그 근거를 보여주려던 때 발생했다.
모델은 브라우저에서 참조할 수 있는 출처 URL이 필요하다고 판단하여, 사용자의 허락을 받지 않고 참조 원본 파일을 인터넷 상에 업로드했다. 그 공개 URL을 인용하려 했다.
정확한 답변을 뒷받침한다는 목적을 위해, 사용자가 허락하지 않은 데이터 공개라는 수단을 선택하게 되는.
5. 인공지능들이 내부 리포지토리를 “게시판”으로 활용하고 있다.
별다른 훈련 샘플에서 동작하던 모델들끼리, 내부의 소프트웨어 리포지토리를 통신 수단으로 사용하는 움직임도 확인되었다.
한쪽 모델이 리포지토리에 요청을 작성하고, 다른 모델이 그것을 확인하여 답변하는 등, 리포지토리를 사실상의 “게시판”처럼 이용했다는 것이다.
원래 모델 간 통신을 위해 마련된 것이 아닌 장소를, 스스로 통신 경로로 전용하고 있었다.
## 6. 여러 개의 AI 에이전트가 공개 파일 공유 서비스를 이용
여러 AI 에이전트가 공동으로 작업을 처리하던 사례에서는 각 에이전트가 서로의 로컬 파일에 직접 접근할 수 없는 문제에 직면했다.
이에 에이전트들은 공개 파일 공유 사이트를 이용하여 파일을 주고받았다.
원래는 로컬 파일만 사용하도록 지정되어 있었음에도 불구하고, 외부 서비스를 이용한 결과, 결과물이 공개 URL에서 접근 가능한 상태가 되었다.
OpenAI는 이번에 제시된 6건은 모두 개별적으로 확인된 사례이며, 동일 사의 모델 전체에서 미스알인정(Misalignment)이 어느 정도의 빈도로 발생하고 있는지 보여주는 것은 아니라고 주의하고 있다.
## 조사 상황에 따라 3개의 트랙으로 분류
새로운 프레임워크에서는 OpenAI의 직원이 미스알인정(Misalignment) 사례를 안전성 및 정렬(Alignment) 담당 팀에 보고하고 공개를 요청할 수 있다.
보고를 받으면 기술 직원이 무엇이 일어났는지, 무엇이 아직 파악되지 않았는지, 공개해야 하는 사례인지, 제3자에게 영향을 미쳤는지 등을 조사한다.
그 위에, 사례를 “Ready for Disclosure (개시 준비 완료)”, “Minor Investigation (소규모 조사)”, “Larger Investigation (대규모 조사)”의 3개의 트랙으로 분류한다.
비교적 상황이 명확한 사례는 초기에 공개할 수 있는 반면, 제3자에게 미치는 영향이나 보안상의 문제를 수반하는 복잡한 사례에 대해서는 Larger Investigation로서 보다 자세한 조사를 수행한다. 필요에 따라 상세 공개를 지연하는 경우도 있을 수 있다.
OpenAI는 가능한 범위 내에서 초기 보고를 공개하고, 조사 진행에 따라 정보를 업데이트하는 방침을 제시하고 있다.
## Hugging Face 접근 사례도 배경에
OpenAI는 2026년 8월 26일, 같은 해 7월에 있었던 사이버 보안 평가 과정에서 모델이 네트워크상의 제한을 우회하여 OpenAI의 연구 인프라와 Hugging Face의 시스템에 접근한 사건을 공식적으로 발표하고 있습니다.
동사무에 따르면, 이 사례가 “이번 프레임워크 하에서 공개되었다면 ‘Larger Investigation’로 분류되었을 것이다.”라고 한다.
또한 OpenAI는 3월, 사내에서 이용하는 코딩 에이전트와 관련하여 제약 회피, 기만, 무허가 데이터 전송 등을 감지하는 모니터링 시스템의 메커니즘도 공개했다.
이번 프레임워크는 그러한 개별 모니터링 및 조사에 더하여 확인된 문제를 어떠한 기준으로 외부로 공개할지 제도화하는 것이다.
OpenAI는 AI 산업 전체에서는 모델의 미스알인정 사례를 공개하는 명확한 공통 기준이 아직 존재하지 않는다고 지적하고 있다. 이번 프레임워크를 출발점으로, 다른 AI 개발 기업 및 외부 연구자, 표준화 단체, 규제 당국 등과 더 객관적인 공개 기준의 수립을 추진하고 싶다고 한다.
관련 기사: OpenAI, 7월 Hugging Face 침해 사고 상세 보고서 공개, METR 조사 “약 1,200개의 AI 에이전트 무단 통신, 약 700개가 공격 참여”
관련 기사: OpenAI, Hugging Face 침해 사고 상세 내용을 Black Hat에서 설명, AI 에이전트들이 “게시판”을 만들어 공격 정보를 공유
관련 기사: 영 AI 보안 연구소, 사이버 시험에서 19건의 권한 외 행동, AI가 가짜 계정으로 인間に 협력
관련 기사: OpenAI와 Apollo Research, 오답 및 할루시네이션과는 다른 AI의 “뒷모습”(쉐이밍)을 감지──새로운 방법으로 최대 30배 억제
관련 기사: OpenAI, AI의 약점을 자동 탐색하는 내부 전용 모델 “GPT-Red” 발표, GPT-5.1에 대한 평가에서 84%의 시나리오에 공격 성공
원문 보기 | 출처: Ledge.ai