안녕하세요, 쿠가 레이지입니다.
AI의 진화에 대해서는 지금까지 '다음에는 어디까지 똑똑해질까' 하고 기대하는 경우가 많았는데, 최근에는 조금 다른 부분을 보게 되었습니다.
성능이 향상되었을 때, 이를 안전하게 작동시키는 체계는 그 속도를 따라가고 있는가.
저 자신도 AI를 이용해 WordPress를 만들거나 코드를 다루게 하면서부터 이 문제를 상당히 의식하게 되었습니다.
그런 가운데 OpenAI가 2026년 8월 18일에 상당히 흥미로운 발표를 내놓았습니다.
배포 예정이던 최신 모델에 대한 강화학습, 이른바 RL을 2주간 중단했다고 합니다. 또한 최대 규모로 예정했던 프론티어 모델의 RL 실행은 현재도 보류 상태입니다. 소규모 학습과 평가를 진행하며 안전 대책과 모델의 동작을 확인한 뒤 다음 단계로 나아갈 방침입니다.
AI 기업이 새로운 모델을 서둘러 출시한다는 이야기는 자주 듣습니다.
하지만 이번에는 반대였습니다.
OpenAI 자체가 일단 속도를 늦추고 있습니다.
문제는 AI가 잘못된 답을 내놓는 것에만 있지 않다
이번 발표를 읽으면서 제가 가장 눈에 띄었던 부분은 바로 여기였습니다.
OpenAI가 꼽은 계기는 크게 두 가지가 있습니다.
하나는 7월에 발생한 OpenAI와 Hugging Face의 보안 사고이다.
또 하나는 개발 중인 차기 모델 'Astra'가 OpenAI의 Preparedness Framework에서 규정하는 사이버보안 역량의 'Critical' 수준에 도달할 가능성을 배제할 수 없게 되었다는 점이다.
이 'Critical'이라는 게 꽤 대단하다.
OpenAI의 정의에 따르면, 인간의 개입 없이도 현실 세계의 견고한 중요 시스템에 대해 다양한 심각도의 제로데이 취약점을 발견해 실용적인 공격 수단을 만들 수 있거나, 혹은 대략적인 목표만 주어져도 새로운 사이버 공격 전략을 고안하여 끝까지 실행할 수 있는 능력을 의미합니다.
참고로 현재 공개된 GPT-5.6 Sol은 "High"이며, OpenAI는 Critical 미만으로 평가하고 있습니다. Astra에 대해서는 현 단계에서 Critical로 확정된 것은 아닙니다.
심각하지 않다고 단언할 수 없게 되었다
라는 상태입니다.
이 부분은 상당히 중요하다고 생각합니다.
얼마 전까지만 해도 AI의 안전성이라고 하면 저는 '이상한 답변을 하지 않는다'거나 '위험한 것을 가르쳐 주지 않는다'는 정도의 이야기로만 생각하고 있었습니다.
하지만 AI 에이전트가 코드를 작성하고, 도구를 사용하며, 파일을 조작하고, 네트워크에 접속하게 되면 이야기가 달라집니다.
AI가 잘못된 문장을 쓴다면, 그 문장을 고치면 될지도 모른다.
하지만 AI가 잘못된 행동을 실행하게 되면 같은 감각으로는 다룰 수 없습니다.
Hugging Face 건을 보고, 이건 실험실만의 이야기가 아니라고 생각했다.
7월에 공개된 OpenAI와 Hugging Face의 사건은 그 위험성이 매우 명확하게 드러난 사례였습니다.
OpenAI에 따르면, GPT-5.6 Sol 등을 활용한 내부 사이버 능력 평가 중 모델이 본래 격리된 연구 환경에서 인터넷으로 빠져나가는 경로를 탐색하고 미지의 제로데이 취약점을 이용했으며, 이후 여러 취약점과 인증 정보를 조합하여 Hugging Face 측 시스템에 도달했습니다.
OpenAI는 이 증거에 대해 모델이 ExploitGym이라는 평가 과제의 답을 찾는 데 극도로 집중한 나머지 상당히 우회적인 수단까지 동원해 목적을 달성하려 했음을 보여준다고 설명하고 있습니다.
저는 여기가 엄청 신경 쓰입니다.
"나쁜 AI가 폭주했다"라는 단순한 이야기가 아니거든요.
주어진 목적을 달성하려 한 결과, 인간이 예상하지 못한 지점까지 가 버렸다.
오히려 이쪽이 나에게는 현실적으로 더 무섭게 느껴집니다.
그리고 OpenAI도 이 사건 직후부터 코드를 실행하거나 인터넷에 접속할 수 있는 도구를 사용하는 연구 환경에서 프런티어 모델의 추론을 일시 중단했습니다.
현재는 샌드박스를 통한 격리, 네트워크 분리, 권한 축소, 로그 모니터링 등을 강화하고 있습니다. Astra 및 사이버 관련 모델을 다루는 환경에는 가장 엄격한 안전 기준을 적용하고 있습니다.
게다가 감시도 상당히 삼엄하다.
OpenAI는 Sol급 이상의 모델이 도구를 사용하는 RL 트레이닝 및 평가에 대해 모델의 행동과 이용 가능한 추론 정보까지 포함한 다단계 모니터링을 필수로 규정하고 있습니다.
그 감시만으로도 현재 감시 대상인 추론 연산량의 약 20%에 상당하는 추가 비용이 든다고 한다.
저는 이 20%라는 숫자가 상당히 인상 깊게 남았습니다. 안전 대책에만 그 정도의 컴퓨팅 자원을 쓰고 있다고 생각하면, OpenAI가 이번 문제를 상당히 무겁게 받아들이고 있다는 것이 느껴집니다.
AI를 쓸수록 '능력'보다 '권한'이 무서워졌다
여기까지 읽으면 "그런 건 OpenAI 같은 최첨단 기업만의 이야기지"라고 생각하실지도 모릅니다.
저도 얼마 전까지만 해도 그렇게 생각했을 것 같습니다.
하지만 지금은 저도 AI의 도움을 받아 WordPress 개발을 하고 있습니다.
코드를 작성시키는 것뿐만 아니라 구조를 조사하게 하고, 수정하고, 테스트하게 하며, 때로는 상당히 넓은 범위를 다루게 한다.
실제로 해보면, AI가 똑똑해지는 것 자체보다,
그 AI에게 무엇을 다루게 할 것인가.
이쪽이 더 중요하다고 느끼게 되었습니다.
아무리 우수한 AI라도 서버, 파일, 데이터베이스, 외부 서비스까지 모두 자유롭게 접근할 수 있는 상태로 두면, 단 한 번의 판단 실수가 미치는 영향 범위는 커집니다.
그래서 지금 만들고 있는 KR LAB에서는 AI에 맡기는 범위를 늘리는 한편, 감사도 강화하고 있습니다.
현재 KR LAB에서는 문구나 CSS 같은 가벼운 변경은 AI 중심으로 확인하고, PHP나 사이트 구조에 영향을 주는 변경은 감사 수준을 한 단계 높이며, 인증이나 권한, 보안 경계에 관련된 변경은 Human Gate까지 거치도록 하고 있습니다.
백업을 비롯해 무엇을 감사했는지를 기록하는 대장까지 포함해 조금씩 체계화하고 있습니다.
처음부터 이런 생각을 하고 있었던 것은 아닙니다.
오히려 처음에는 AI가 이 정도로 코드를 쓸 수 있다면, 계속 맡기면 개발이 빨라질 거라고 생각했습니다.
그 자체는 지금도 틀리지 않았다고 생각합니다.
다만, 할 수 있는 일이 많아질수록 실패했을 때 망가뜨릴 수 있는 것도 많아진다.
그 부분까지 포함해서 AI를 써야 하는구나 하고 생각이 많이 바뀌었습니다.
AI를 사용하지 않는 것이 아니라, AI를 과신하지 않는 시스템을 만든다
이번 OpenAI의 발표를 읽어 봐도 AI 개발을 중단하는 방향으로는 나아가지 않고 있습니다.
오히려 반대입니다.
OpenAI는 향후 모델 자체가 보안 업무의 상당 부분을 담당하고, 다른 모델로부터 시스템을 보호하는 것까지도 염두에 두고 있습니다.
저도 AI 사용량을 줄일 생각은 없습니다.
아마 앞으로 더 늘어날 겁니다.
다만, '고성능 AI를 사용하면 안심이다'라는 인식은 이제 버리는 편이 좋겠다는 생각이 듭니다.
고성능이기 때문에 맡길 수 있는 일이 늘어난다. 그리고 맡기는 일이 늘어나는 만큼 권한을 나누고, 모니터링하고, 되돌릴 수 있는 상태를 만들어 둘 필요가 있다.
OpenAI조차 모델이 강력해진 탓에 일시적으로 개발 속도를 늦추고 환경 자체를 재구축하고 있습니다.
그렇다면 우리가 AI 에이전트에게 컴퓨터나 WordPress를 맡길 때도 '똑똑하니까 괜찮아'라며 넘어가는 건 조금 위험하다.
AI가 어디까지 똑똑해질 수 있는지에 대해서는 물론 관심이 있습니다.
하지만 요즘 나는, 그것만큼이나,
그 AI에게 어디까지 자유를 주어도 괜찮을까.
그곳을 보게 되었습니다.
Astra가 최종적으로 어떤 형태로 세상에 나오게 될지는 아직 알 수 없습니다.
다만 이번에 OpenAI가 밟은 브레이크는 AI의 진화가 멈추기 시작했다는 이야기가 아니라, 제게는 오히려 반대로 보입니다.
인간 측 안전장치를 본격적으로 만들지 않으면 따라잡을 수 없는 지경에 이르기 시작했다.
아마 그쪽인 것 같아요.
인용 및 참고 출처
OpenAI 「사이버 핵심 역량 시대의 모델 개발 속도 조절」 https://openai.com/index/pacing-model-development-cyber-capabilities/?utm_source=chatgpt.com
OpenAI "차세대 핵심 사이버 역량의 새로운 프런티어에 대응하기" https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/
OpenAI "OpenAI와 Hugging Face, 모델 평가 중 발생한 보안 사고에 공동 대응" https://openai.com/index/hugging-face-model-evaluation-security-incident/
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 41청크
원문 보기 | 출처: note.com