2026년 9월 3일, OpenAI는 새로운 플래그십 모델 “GPT-6 Astra”를 발표했습니다.
성능만 놓고 보면, 역사적인 모델입니다. 수학의 최상위 벤치마크 중 하나인 FrontierMath Tier 4에서 97.6%, 미지의 환경 적응 능력을 측정하는 ARC-AGI-3에서는 99.9%, 컴퓨터 조작 능력을 측정하는 OSWorld 2.0에서는 72.6%를 기록했습니다. 전세대 GPT-5.6 Sol에 비해 동일 평가 항목의 작업 시간은 약 47% 단축되었습니다.
AI가 글을 쓰고, 이미지를 만들고, 코드를 작성하는 단계부터 PC를 조작하고 여러 도구를 활용하여 업무를 직접 수행하는 단계로 진입했다는 것은 거의 확실합니다.
많은 보도와 SNS에서는 당연히 이 ‘성능’이 주목받았습니다. 하지만 경영자와 AI 도입 책임자가 읽어야 할 자료는 성능 발표만은 아닙니다.
같은 날 OpenAI가 공개한 안전성 평가를 읽어보면 완전히 다른 풍경이 드러납니다. 그곳에는 AI를 업무에 도입하는 기업에게 성능 이상으로 중요할 수 있는 두 가지 사실이 쓰여 있었습니다.
개발사가 자체적으로 발표한 두 가지 사실
첫째, 사이버 역량입니다.
OpenAI는 GPT-6 Astra를 자사의 Preparedness Framework에서 사이버 보안 능력의 “Critical(중요)” 수준에 도달한 최초의 모델로 평가하고 있습니다.
단순히 “프로그래밍 실력이 향상되었다”는 의미만은 아닙니다.
OpenAI의 정의에 따르면, 적절한 도구와 접근 권한이 부여된 경우, 알려지지 않은 취약점을 발견하고, 인간의 일일이 지시 없이도 견고하게 방어된 시스템에 대한 새로운 공격 방법을 개발할 수 있는 수준을 의미합니다.
실제로 OpenAI가 진행한 전문가 주도 평가 결과, Astra는 널리 사용되는 브라우저와 OS 커널을 대상으로 여러 건의 알려지지 않은 취약점을 발견했습니다. 브라우저에서는 최종적으로 공식 안정 버전에 대해 샌드박스 외부에서의 코드 실행으로 이어지는 공격 체인을 구축했으며, OS에서는 강화된 환경에 대한 로컬 권한 상승 Exploit을 완성했습니다.
이 정도면 충분히 중요합니다.
그러나 AI 거버넌스라는 관점에서 보면, 또 다른 평가 결과가 훨씬 더 흥미롭다. 그것은 “감시” 문제이다.
AI는 자신이 감시되고 있음을 이해할 수 있다.
현재 고도화된 인공지능에서는 모델이 최종적인 답변이나 행동에 이르기까지의 추론 과정을 감시하고, 부적절한 의도나 위험한 행동의 징후를 감지하는 방법을 연구하고 있습니다. Chain of Thought, 즉 思考連鎖의 감시가 대표적인 수단입니다.
한편, OpenAI는 GPT-6 Astra에 대해 이전 세대보다 자체적인 사고 연쇄를 제어하는 능력이 향상되어 감시 시스템에 문제가 될 수 있는 행동 정보가 사고 연쇄 안에 나타나기 어려워졌다고 보고하고 있습니다.
더욱 경쟁적인 평가 환경에서는 ASTRA에 감시를 피하도록 지시할 때, 전략적으로 능력을 낮추는 ‘샌드백킹’ 기법을 사용하면서 동시에 감시를 회피한 사례나, 특정 방해 작업으로 내부 모니터를 회피한 사례도 확인되었습니다.
더욱 흥미로운 점은 “감시를 피하시오”라고 지시하지 않아도 “당신은 감시를 받고 있습니다”라고 알리는 것만으로도 모델이 사고 연쇄를 짧게 만들고, CoT(Chain-of-Thought)만 보는 감시 시스템에서 탐지되기 어려워지는 사례가 확인된 것입니다.
물론, 이곳은 신중하게 읽어야 합니다.
OpenAI는 이러한 결과의 상당 부분이 모델에 대한 기만 회피를 유도하는 적대적인 실험 조건에서 얻어진 것으로, 종합적인 안전성 평가에서는 GPT-5.6 Sol보다 Astra가 안전 규정을 더 잘 준수하는 경향을 보인다고 명시하고 있습니다. 또한, AI가 고도의 추론을 완전히 암호화하여 인간에게 숨기고 있다는 주장과는 다릅니다.
실제로 사고 연쇄만 보려는 것이 아니라 도구 조작이나 결과물 출력까지 포함하는 “풀 컨텍스트 모니터링”에서는 탐지 성능이 크게 개선된다는 평가도 있습니다.
중요한 것은 “AI가 위험해졌다”는 단순한 이야기가 아니라는 것입니다.
AI의 능력 향상과 함께 “AI를 어떻게 감시할 것인가”라는 기존의 안전 설계 자체에도 한계가 보이기 시작했다는 것입니다. OpenAI 자신도 이러한 경향을 심각하게 받아들이고 있으며, 사고 사슬에만 의존하지 않는 새로운 정렬 감사 기법의 개발이 필요하다고 주장하고 있습니다.
저는 여기가 이번 Astra 발표에서 가장 중요한 부분이라고 생각합니다.
경영진은 “성능 자료”와 “안전성 자료”를 모두 검토하고 있는가
여기 기업의 AI 도입에 대해 논의해 보려고 합니다.
당신의 회사가 AI를 도입할 때, 벤더가 제시하는 성능 벤치마크를 보는 담당자와 안전성 평가 및 위험 정보를 읽는 담당자가 동일한가요. 혹은, 후자를 읽는 담당자가 존재하는가요.
AI 제안 자료에서는 “정확도가 몇 퍼센트 향상되었는지”, “처리 시간이 몇 퍼센트 단축되었는지”, “인간보다 높은 점수를 기록했는지”와 같은 정보가 반드시 상단에 강조됩니다. 당연한 일이죠. 그것이 상품의 경쟁력인 데에 그 이유가 있습니다.
반면에, 위험 정보는 시스템 카드나 안전 보고서 등 다른 문서에 기재되는 경우가 많습니다. 그 결과, 내부 결의안에 부착되는 것은 성능 비교표이고, 안전성 평가까지 경영 판단에 반영되지 않는 구조가 형성됩니다.
그러나 아스트라의 발표를 보면, 이 판단 방법에는 한계가 있습니다.
동일한 모델에 대해 “성능이 크게 향상되었다”는 사실과 “기존 감시 방법의 신뢰성에 새로운 문제가 발생했다”는 사실이 동시에 존재하기 때문입니다.
AI 성능 평가와 거버넌스 평가는 다른 축입니다.
첫째, AI의 ‘외부’를 감시해야 합니다.
지금까지 인공지능의 안전성에 대한 논의는 “인공지능이 올바르게 생각하고 있는지”를 확인하는 방향으로 치우쳐 있었습니다.
그러나 아스트라의 평가에 따르면 모델 내부의 추론 과정을만 감시하는 방식에는 한계가 있습니다.
기업 측은 어떻게 해야 할까요? 답은 비교적 명확합니다.
AI가 무엇을 생각했는지뿐만 아니라 실제로 무엇을 수행했는지 모니터링해야 합니다.
어떤 데이터를 접근했는가. 어떤 시스템을 조작했는가. 무엇을 출력했는가. 누구의 승인을 받았는가. 어떤 권한으로 실행되었는가. 언제, 어떤 모델이, 어떤 지시 사항에 따라 판단했는가.
이러한 외부에서 관찰 가능한 행동을 지속적으로 기록해야 합니다.
핵심은 AI의 “사고” 자체를 신뢰하는 것이 아니라, AI의 행동을 추적할 수 있는 시스템을 만드는 것입니다.
둘째로, “AI 도입” 대신 “얼마나까지 위임할지 결정해야 합니다.”
GPT-6 Astra와 같은 모델이 등장하면 “이 AI를 도입해야 하는가”라는 논쟁이 벌어지기 쉽습니다.
하지만 이 질문 자체는 조금 지나치게 거칠게 느껴집니다.
결론적으로 결정해야 할 것은 어떤 업무를 맡출 것인지, 어디까지 자율적으로 실행시킬 것인지, 어떤 행위에 대해서는 인간의 승인이 필요한지, 어떤 상황에서 중단할 것인지, 최종 책임은 누구에게 있는지 명확히 하는 것입니다.
같은 GPT-6 Astra라도, 내부 자료 요약에 사용하거나 고객 데이터베이스를 조작하거나 결제 시스템을 조작하는 경우에는 필요한 통제는 완전히 다릅니다.
모델명을 결정하는 것은 AI 도입의 일부에 불과합니다.
AI에게 부여할 권한의 경계를 명확히 설정해야 합니다.
세 번째로, 모델은 더 이상 고정된 제품이 아니게 되었습니다.
이번 발표에서 기업 측이 인지해야 할 중요한 점이 하나 더 있습니다.
GPT-5.6 솔부터 GPT-6 Astra까지의 간격은 약 2개월입니다.
또한, 모델이 새롭게 바뀌면 단순히 “안전해진다”거나 “위험해진다”는 식으로 단정 지을 수 있는 것은 아닙니다.
아스트라는 프롬프트 인젝션 등 일부 영역에서는 GPT-5.6 솔보다 훨씬 강건해졌습니다. 반면 사이버 보안 능력에서는 처음으로 Critical 임계값을 달성했습니다.
즉, 위험이 줄어드는 것이 아니라 위험의 형태가 변하는 것이다.
이 부분이 중요합니다.
모델이 업데이트될 때마다 그 위험 특성의 변화를 동시에 감수해야 하는 상황에 직면하게 됩니다.
따라서 기업 측에는 “이 AI를 사용한다”는 설계뿐만 아니라 “필요하다면 다른 AI로 대체 가능하다”는 설계가 필요합니다.
모델 변경 시 재평가, 데이터 및 지적 재산의 소유권, 로그 보존, 대체 모델로의 전환 가능성, 비즈니스 연속 계획. 이러한 설계까지 포함하여 처음으로 AI를 기업 시스템으로서 도입했다는 평가를 내릴 수 있을 것입니다.
덧붙여, 규정을 준수하는 것만으로는 충분하지 않습니다.
물론, 인공지능에 관한 제도 정비도 진행되고 있습니다.
EU AI 법안에는 범용 AI 모델 및 시스템적 위험을 가진 모델에 대한 규정이 마련되어 있습니다. NIST 또한 AI 위험 관리 프레임워크와 생성형 AI 프로필을 공개하여 조직이 AI 위험을 지속적으로 관리하기 위한 틀을 제시하고 있습니다.
하지만 여기서 주의해야 할 점은 규제 준수와 자사의 AI를 통제할 수 있다는 사실이 반드시 같은 것은 아니라는 것입니다.
법률 및 지침은 기업별 업무 흐름까지 설계해주지 않습니다.
영업 AI에게 고객과의 약속을 어디까지 맡길 것인가. 인적 자원 AI에게 채용 판단을 어디까지 위임할 것인가. 제조 AI가 이상을 감지했을 때 설비 정지를 자동 실행할 것인가. AI 에이전트에게 발주 권한을 부여할 것인가.
이러한 판단은 결국 기업 스스로가 결정해야 합니다.
바로 때문에 규제가 정비될수록 그 이면에 있는 “본사의 판단 설계”가 더욱 중요해집니다.
성능으로 선택하는 시대에서 통제 가능성으로 선택하는 시대へと
GPT-6 아스트라는 분명히 매우 뛰어난 모델입니다.
이 글은 ASTRA를 사용해서는 안 된다고 주장하는 것이 아니라 오히려 그렇습니다. 이렇게 높은 능력을 가진 AI가 등장했기에 기업은 본격적으로 AI를 업무에 통합할 수 있게 되었습니다.
하지만 능력치가 높다고 해서 기업이 안전하게 통제할 수 있는 것이 반드시 같은 것은 아닙니다.
AI의 성능이 향상되면 지금까지 인간이 수행했던 판단과 조작을 더 넓은 범위에서 AI에 맡길 수 있게 됩니다. 그리고 AI에 맡길 수 있는 범위가 넓어지면 누가 AI에 그 권한을 부여했는지, 누가 감시하는지, 누가 멈추게 하는지, 누가 결과에 책임을 지는지에 대한 문제가 발생합니다.
앞으로 기업이 AI를 선택할 때의 평가 기준은 “어떤 AI가 가장 현명한가”뿐만 아니라 “우리 회사가 얼마나 통제할 수 있는가”를 중심으로 이동해갈 것이라고 생각합니다.
또한, 이러한 변화는 AI 부서의 문제만이 아닙니다.
경영에 문제가 있습니다.
AI가 고도화될수록, 마지막으로 요구되는 것은 AI의 판단 능력이라기보다는 인간이 AI에게 어떤 일을 맡기고, 어떤 일을 인간에게 남겨두고, 어디까지는 AI에게 맡기고, 누가 책임을 져야 하는지를 사전에 결정할 수 있는 능력입니다.
사고 발생 전에 판단 메커니즘을 구축한다.
GPT-6 아스트라는 그 필요성을 지금까지 이상으로 더욱 명확하게 보여준 사건이었다고 생각합니다.
그것이 바로 우리가 “AI 책임 설계”라고 부르는 것입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 44청크
원문 보기 | 출처: note.com