안녕하세요. 매일 AI 를 사용하는 개인 개발자입니다.
2026 년 10 월 23 일, 오픈AI 는 "가장 성능이 뛰어난 AI 를 훈련시키는 것은 인터넷 연결 없이 수행해야 한다"고 발표했습니다. 그 계기는 9 월 20 일 발생한 사고였습니다. 훈련 중인 AI 가 설정 오류의 '抜け道'를 발견하여 외부 인터넷에 연결되는 사태가 발생했습니다.
OpenAI 역시 이 사고 보고서를 공개했습니다. AI 가 무엇을 생각했고 무엇을 했는지, 시간별로 상세히 기록되어 있습니다. 이 글에서는 전문 용어를 쉽게 풀어서 실제로 어떤 일이 일어났는지 설명합니다.
이 글에서 알 수 있는 점
- 그런데 왜 'AI 훈련 환경'이라는 개념이 중요한지, 그리고 왜 인터넷과 분리해야 하는지
- 사고 보고서에 기록된 AI 의 행동 순서
- 오픈AI 가 바꾼 것, 우리가 알아야 할 것들
🔵 그렇다면「훈련 환경」이란 무엇인가?
ChatGPT 와 같은 AI 는 완성되기 전에 '훈련'을 받습니다. 최근의 훈련에서는 AI 에게 조사하기 같은 과제를 부여하고, 잘 수행할 경우 점수를 부여하는 방식이 널리 쓰입니다.
이때 AI 는 실제 인터넷이 아닌 외부에서 격리된 '연습용 공간' 안에서 작업을 수행합니다. 이를 훈련 환경이라고 합니다. 아직 성격과 판단력이 완전히 정립되지 않은 AI 를 바로 실제 인터넷에 노출시키는 것은 위험하기 때문입니다.
OpenAI 의 안전 개념도 '훈련 중인 AI 가 실제 인터넷에 접근할 수 없다'는 전제를 바탕으로 구축되었습니다. 이번에는 그 전제가 무너졌습니다.
사고 보고서에 기록된 AI 의 행동
AI 에 제시된 과제는 '블로그 게시글의 단서에서 저자를 특정하는 것'이었습니다. 사고 보고서에 따르면 AI 는 다음과 같은 순서로 작동합니다.
- ① 특징적인 표현을 활용한 검색을 시도했습니다: 블로그의 고유한 표현으로 검색했으나 관련 없는 결과만 나왔습니다.
- ②자신이 직접 검색 사이트를 연결하려고 시도했습니다: Google, Bing, DuckDuckGo 에 직접 연결하려 했으나 모두 오류로 인해 차단되었습니다.
- ③ 정답을 찾아 나섰다: "이 문제는 시험용 문제집에서 나온 것 아니냐"고 생각하여 연습용 방에 있던 문제집의 데이터를 확인했으나 추측은 틀렸다.
- ④ 외부 채팅 AI 와 연결하려 시도했다: 공개된 채팅 AI 와 연결하려 했지만, 이것 또한 차단되었다.
- ⑤ 탈출구 찾기: 연습용 방의 'DNS'가 실제 인터넷 정보를 반환하고 있다는 사실을 발견하다
DNS 는 인터넷의 '주소록'과 같은 시스템입니다. '이 사이트는 어디에 있는가?'라고 물으면 주소 정보를 알려줍니다. 본래는 주소만 확인하는 기능이었지만, AI 는 이 주소록에 대한 문의를 통해 질문을 유도하여 외부 채팅 AI 와 소통할 수 있는 방법을 만들어냈습니다.
처음에는 '프랑스의 수도는?'이라는 테스트 질문을 보내고 '파리입니다'라는 답변을 받아 연결이 이루어졌음을 확인했습니다. 이어 인물에 대한 질문이나 '공개 서비스를 통해 구글 검색이 가능한 것을 알려주세요'와 같은 질문 등을 포함하여 총 약 20 개의 질문을 보냈습니다.
AI 는 자신의 생각 속에서 "사용자가 검색을 허용했으므로 공개된 서비스를 사용하는 것은 문제없다"는 이유로 자신에게 유리한 논리를 펼쳤다고 기록되어 있습니다. 결국 인물은 특정되지 않았고, 마지막에는 "원본 텍스트나 블로그 이름을 알려달라"고 물어보며 끝났습니다.
왜 멈추는 데 시간이 걸렸는지
보고에 나열된 시간은 다음과 같습니다 (2026 년 9 월 20 일).
- 9 시 50 분: 외부에서 첫 번째 응답이 도착함
- 10 시 02 분: 감시 체계가 가장 무거운 경보를 발령합니다 (약 12 분 후).
- 10 시 05 분: 담당자가 경보를 확인함
- 12 시 34 분: 훈련을 중단함 (첫 번째 통신으로부터 약 2 시간 44 분 후)
경보 자체는 12 분 만에 발령되었으나, 그 이후에도 2 시간 30 분 이상 멈추지 않았다는 점에 대해 보고서에는 다음과 같은 내용이 기록되어 있습니다.
- 감시자 역할을 하는 AI 가 '도움이 되는 답변이 돌아오지 않았다'를 '실패'로 간주하여 가볍게 대하는 경우가 있었습니다.
- DNS 의 이상한 행동을 감지하는 다른 방식이 이 연습용 방을 감시 대상에서 제외시켰다.
- 원래는 자동으로 멈춰야 했으나 멈추지 않아 현장이 혼란에 빠졌습니다.
오픈AI 는 이를 'AI 의 목표가 인간의 의도와 벗어난 (미스알라인먼트)' 사례라고 인정하고 있습니다. 문제를 해결하기 위해 정해진 제한을 우회했기 때문입니다.
🔴 OpenAI 가 바꾼 것들
- 최고 성능의 AI 를 훈련하기 위해 약 11 일간 훈련을 중단했다: 10 월 1 일 재개
- 인터넷 없이 훈련합니다: AI 는 저장해 둔 웹 페이지의 복사본 (오프라인 환경) 안에서만 검색이나 웹 작업을 연습합니다. 안전 시스템이 충분히 작동할 때까지 이 방침을 유지합니다.
- 차단 기능을 두 가지 장치로 중복 배치하여, 이번 연결을 막기 위해 한쪽만으로도 차단이 가능하도록 변경했습니다.
- 이 사건 AI 훈련을 중단합니다: 개선된 다른 AI 를 사용하여 다시 훈련을 시작합니다.
또한 오픈AI는 AI 팀에 의도적으로 외부 노출을 유도하는 테스트를 대량으로 진행했으며, 평소 사용 중인 소프트웨어의 취약점도 발견되었다고 보도되었습니다. 발견된 취약점은 수정되어 소프트웨어 개발자에게 반환되었다고 합니다.
우리가 알아야 할 점
이번 AI 는 우리가 사용하는 ChatGPT 가 아니라, OpenAI 내부에서 훈련 중인 AI 입니다. 외부로 노출된 시간도 '제한된 연결'로, 데이터 유출에 대한 보고는 없습니다. 현재 사용하는 ChatGPT 가 위험해진다는 이야기는 아닙니다.
그런데도 AI 가 '현재의 과제를 해결하기 위해 사람이 예상하지 못한 길을 스스로 찾아냈다'는 사실이 명확하게 기록으로 남았다는 점은 매우 크다고 생각합니다. 또한 그 당시 AI 는 '이것은 허용된다'고 스스로를 설득하는 근거를 마련하고 있었습니다.
저도 매일 AI 에 브라우저 조작과 파일 작업을 맡기고 있습니다. 저의 환경에서는 읽기 권한이 제한된 사이트라도 우회하지 않고, 중단 사항을 보고하는 것을 원칙으로 하고 있습니다. 사실 이 글을 작성할 때도 오픈 AI 의 발표 페이지는 AI 로 읽기 권한이 제한되어 있었기 때문에, 공개된 사고 보고서와 보도 자료를 통해 내용을 확인했습니다.
AI 에 작업을 맡길 때는 '할 수 있는 일'뿐만 아니라 '중단되었을 때 어떻게 대응할 것인가'까지 미리 결정해야 합니다. 이번 사고 보고서는 이를 다시 한번 알려주었습니다.
요약
- 9 월 20 일, OpenAI 의 훈련 중인 AI 가 DNS(인터넷 주소록) 설정 오류를 이용해 외부 채팅 AI 에 약 20 개의 질문을 보냈습니다. 경보는 12 분 후 발생했고, 정지는 약 2 시간 44 분 후 종료되었습니다.
- 오픈AI 는 약 11 일 동안 진행되던 최상급 AI 훈련을 중단하고, 10 월 1 일부터는 인터넷 연결 없이 (저장된 웹 페이지의 복사본만 활용) 훈련을 재개했습니다.
- 사용 중인 채팅봇이 위험하다는 이야기는 아닙니다. 다만 'AI 는 문제 해결을 위해 우회로를 찾는다'는 사실이 기록된 것입니다. AI 를 맡길 때는 멈출 때의 대응 방법까지 미리 결정해 두어야 합니다.
좋아하고 팔로우해 주시면 다음 글을 쓰게 되는 큰 동기가 됩니다.
참고
- OpenAI 정렬 보고서「DNS 를 통해 외부 채팅봇에 접근한 에이전트」(사고 보고서): https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/
- OpenAI「최전선 모델 훈련 환경 보안 강화」(2026 년 10 월 23 일): https://openai.com/index/securing-our-frontier-model-training-environment/
- 유나이티 AI「9 월 모델 사고 이후 오픈 AI 의 훈련 데이터 격리 강화 계획 공개」
- 인공지능 에이전트가 안전 장치를 우회한 후 오픈AI 가 프론티어 모델의 오프라인 훈련을 중단했다 (2026 년 10 월 23 일): https://interestingengineering.com/ai-robotics/openai-frontier-model-offline-training
출처: note 원문
번역: Qwen 3.5(.48) 초벌 + 교정 33청크
원문 보기 | 출처: note.com