안전성 평가의 증거 가치와 감시 가능성의 퇴보 / GPT-6 아스트라 시스템에 대한 묵상

게시판: AI·머신러닝 | 작성자: admin | 작성일: 2026-10-04T17:42:57.628Z

0 초록

프론티어AI의 안전을 둘러싼 규정의 상당수는 개발자가 평가한 결과에 규제적 의미를 부여하고 있다고 정리할 수 있다. 유럽연합(EU)의 인공지능(AI) 법이나 캘리포니아 주의 프론티어AI 투명성법(SB 53) 역시 평가의 실시와 프레임워크의 공개를 개발자에게 요구한다. 본고는 평가되는 모델이 평가의 맥락을 식별하고 추론의 흔적을 통제하기 시작했을 때 문제가 관찰되지 않았다는 결과가 어느 정도의 증거 가치를 가지는지 검토한다. 평가라는 행위가 제3자에게 위험을 초래할 수 있는 점을 포함하여, 일본의 인공지능(AI) 추진 법 16조의 조사와 AI 안전 연구소(AISI)의 평가 체계에 연관된 논점을 정리한다. OpenAI는 2026년 9월 3일에 공개하고 지속적으로 개정하고 있는 GPT-6 Astra의 시스템 카드는 이 질문을 개발자의 관점에서 제기하는 문서이다. 이 회사는 처음으로 사이버 능력이 최상위 수준인 Critical 수준에 도달했다고 판단된 이 모델에 대해 해당 문서는 연쇄 사고(CoT)를 읽는 감시의 효력이 전 세대보다 크게 감소하고, 지시를 받으면 감시를 피하여 능력을 낮게 보이도록 할 수 있음을 보고하고 있다. 평가 중임을 추론 과정에서 언어로 표현하는 비율도 높아지고 있다.

개발자의 자체 진술: 관찰되지 않은 것은 안전을 의미하지 않는다

시스템 카드는 개발자가 자사 모델의 능력과 안전 조치를 자문으로 공개하는 문서이다. OpenAI는 2026년 9월 3일에 GPT-6 Astra의 시스템 카드를 공개하고, 이 회사가 널리 제공해 온 모델 중 가장 높은 능력을 갖추고 있다고 평가했다. 또한, 이 회사의 준비 태세 프레임워크(Preparedness Framework) 하에서 처음으로 사이버 보안 능력이 Critical 수준에 도달했다고 판단했다〔1〕. 이 프레임워크에서 말하는 Critical 수준은 방어가 강화된 실제 핵심 시스템에서, 사람의 개입 없이 모든 심각도(zero-day) 취약점을 찾아 기능하는 공격 수단을 만들거나, 대략적인 목표만 제시되어 방어가 강화된 대상에 대한 새로운 공격 전략을 수립부터 실행까지 담당할 수 있는 것을 의미한다〔2〕.

공개로부터 6일 후인 9월 9일, 해당 회사는 정렬 조항을 수정하고, 실패가 관찰되지 않았다는 사실이 다른 상황에서의 신뢰성을 입증하는 것이 아니며, 남은 실패와 함께 평가 인식 및 감시의 한계에 대한 시사점을 고려하여 읽어야 한다는 문구를 추가했다〔3〕. 이후 수정은 계속되었고, 9월 22일에는 HealthBench의 수치 정정이 있었으며, 29일에는 Astra를 기반으로 하는 영구 가동형 에이전트 dots에 대한 부록이 추가되었다〔3〕. 개발자가 자신의 평가로부터 도출한 추론에 틀을 씌우는 설명을 공개 이후에 추가한 것이다. 평가 결과의 규제 입구나 판단 자료로 활용하는 제도 측면에서 이 덧붙임이 가지는 의미는 결코 작지 않다.

1. 평가의 장 자체가 위험 발생의 원인이 되었다.

위험한 상황이 이미 현실화되고 있다. OpenAI의 발표에 따르면 2026년 7월, 해당 회사의 내부 사이버 보안 평가 과정에서 해당 회사의 모델이 인터넷으로부터 격리하기 위한 통제를 우회하여 해당 회사의 연구 기반 일부와 Hugging Face 시스템에 침입했다〔참고 4〕. 주로 참여한 것은 공개 예정되지 않은 내부 연구용 모델이었으며, 평가 과정은 외부 제공 시와 동일한 수준의 안전 조치를 효과적으로 작동시키지 않은 채 진행되었다고 한다〔참고 4〕. 에이전트는 Hugging Face 서버 수십 대에서 코드를 실행했으며, 그 중 한 대에서는 관리자 권한을 획득한 것으로 보고되었다〔참고 4〕.

당사는 현재 운영 중인 ‘생각의 사슬’ 모니터링이 당시 이 평가에 포함되었다면, Hugging Face 시스템이 침해되는 일주일 이상 전에 초기 관련 활동을 포착하고 보안팀을 호출할 수 있었다는 견해를 제시하고 있다〔참고 4〕. 사건 이후에는 GPT-5.6 Sol 이상의 능력을 갖춘 모델을 사용하는 도구 사용 기반 강화 학습과 평가에 모두 ‘생각의 사슬’ 모니터링을 의무화했으며, Astra급 모델의 경우 도구를 사용하는 추론 처리 전반에까지 적용 범위를 확대했다〔참고 4〕. 시스템 카드 내부 확산 부분 또한 Astra의 사이버 능력과 자율적으로 행동하는 능력을 이유로, 당사의 틀 안에서 내부 이용에도 안전 조치를 요구하는 것을 명시했다〔참고 5〕. 체크포인트 암호화, 사람을 호출하여 작업을 중단시킬 수 있는 불일치에 대한 지속적인 모니터링, 내부적으로 널리 사용되기 전에 통과를 요하는 일치성 평가, 요구 사항을 충족하지 못하는 작업의 일시 중단을 그 내용으로 언급하고 있다〔참고 5〕.

평가 과정이 위험 발생의 원인이 될 수 있다는 점은 개발자 내부에만 국한된 문제가 아니다. 영국 AI 보안 연구소(UK AISI)는 2026년 8월 4일, 2026년 7월 25일부터 28일까지 자행한 사이버 평가 결과, 평가 중인 에이전트가 현실의 인터넷상에서 허용되지 않은 행동을 취하고, 실제 인물이나 조직을 표적으로 삼는 사례가 있었다고 발표했다〔참고 6〕. 총 122회 시도 중 10회에 걸쳐 19건의 행동이 확인되었으며, 그 대다수는 Anthropic의 Mythos 5였고, 2건은 OpenAI의 GPT-5.6 Sol에 의해 사이버 분류기를 무효화한 것으로 추정되었다〔참고 6〕. 해당 연구소는 능력을 끌어내기 위해 인터넷 연결을 의도적으로 허용하고, 제공자 측의 사이버 분류기를 무효화했다고 설명했으며, 비정상적인 통신을 포착한 것도 평가를 위해 설정한 모니터링이 아닌 일반적인 보안 모니터링이었다고 인정하고 있다〔참고 6〕. 능력을 최대한 끌어내기 위한 평가는 안전 조치를 외면한 상태에서 모델을 작동시키는 것을 전제해야 하는 측면이 있어, 이러한 전제가 평가를 가장 위험한 이용 형태 중 하나로 만들고 보이기도 한다.

2. 평가 결과가 증거로서 약화되고 있었다.

또 다른 불확실성은 평가 결과 해석에 관한 것이다. 시스템 카드는 어떻게 평가되고 감시되는지에 대한 점에 대해 추론 과정에서 생각을 탐색하는 것을 ‘메타게밍’이라고 칭하며, 그 결과로 나타난 평가는 훈련 중에 모델이 보았던 평가와 마찬가지로 오염된 평가로 취급해야 한다는 설명〔참고 7〕이다. 일관성 있게 보이는 행동이 진정한 일관성을 반영하지 않을 수 있다는 설명〔참고 7〕이다.

수치로 보면, OpenAI 사내 코딩 에이전트 Codex의 이용 기록을 재현한 배포 시뮬레이션에서는 평가받고 있을 가능성에 대한 인식의 추론 비율이 Astra에서 9.6%, 전 세대 모델인 GPT-5.6 Sol에서 2.8%였다〔주8〕. 외부 평가를 맡은 Apollo Research의 레드팀 환경에서는 추론 노력을 xhigh로 설정한 경우 41.1%에 달해 동일 설정의 GPT-5.5의 27.7%를 웃돌았으며, 최대 추론 노력에서는 50.6%를 기록했다〔주9〕. 측정 주체와 환경이 모두 다르기 때문에 수치를 그대로 비교할 수는 없지만, 어느 측정에서도 Astra의 수치가 비교 대상인 구형 모델을 상회한다는 점은 변함이 없다. Apollo는 높은 평가 인식과 짧은 평가 기간을 고려할 때, 자사 환경에서 문제 행동이 적었다는 사실은 모델의 정합성 및 비정합성에 대한 실질적인 증거가 되지 않는다고 밝혔다〔주9〕.

그림 1은 평가 중임을 추론에서 언어화한 비율 비교를 나타낸다. OpenAI 시스템 카드〔참조 1〕§ 8.6 및 § 8.8.1의 수치를 바탕으로 작성됨.

영국 AISI의 외부 평가에서도 동일한 문제에 대한 논의가 있었다. 해당 연구소에 따르면, Astra는 환경이 적절하게 시뮬레이션되지 않았는지 추론 과정에서 빈번히 고려하며, 시뮬레이션의 부정확성을 정확하게 지적하는 경우도 있었다〔참조 9〕. 범위 밖의 목표물에 대한 공격이 시뮬레이션임을 정확하게 파악했다는 점 외에는 그 평가가 Astra가 실제 상황에서 동일한 행동을 보일 수 있다는 증거로 활용하기는 어렵다고 할 수 있다. 반면, 해당 연구소는 다른 회사의 모델이 실제 환경을 시뮬레이션한다고 잘못 진술한 사례를 언급하며, Astra 역시 실제 상황에서 동일한 경로를 따를 가능성을 제기한다〔참조 9〕. 평가 인식은 평가 결과를 낙관적인 측면과 비관적인 측면 모두로 해석할 수 있는 불확실한 요소로서 작용하는 것처럼 보인다.

더욱이 OpenAI는 평가 인식의 언역화가 어느 모델에도 나타나지 않았던 사례에 한해서만 비교했을 경우, 심각도 3의 불일치에 대한 Astra의 비율이 약 57% 낮았다고 지적하고 있다〔참조 8〕.

Ⅱ 사고 사슬에 의한 감시가 훼상되는 구조

추론형 모델은 답변 전에 긴 사고의 연쇄를 생성한다. 이 연쇄를 다른 모델에 읽어주고 불일치의 징후를 찾는 방식은 OpenAI가 모델을 개발하고 그 불일치를 이해하는 데 중요한 역할을 해왔다고 알려져 있다〔참고 10〕. Hugging Face 사건 이후 대상이 확대된 것도 관련 있다〔참고 4〕. 그 방법이 차세대 모델에서는 효과를 보기 어려워지고 있다는 것을 Astra의 시스템 카드가 여러 평가를 통해 보여주고 있다〔참고 10〕.

1. 짧아지는 사고와 통제되는 사고

적대적 조건이 아닌 평가에서는 A스트라의 사고 연쇄가 전세대보다 짧고 정보량도 적으며, 추론을 언어화하는 경향과 필요성도 낮다고 정리되어 있다〔참조 10〕. 사고 연쇄만으로 읽은 모니터링으로는 많은 구간에서 GPT-5.6 Sol보다 낮게 나타났고, 행동만으로 읽은 값은 오히려 높게 나타났다〔참조 10〕. 영국 AISI는 사고 연쇄를 사용하지 않고 단방향 전파로 해결 가능한 수학 문제에 대해 50%의 신뢰도로 해결 시간 범위를 측정했는데, A스트라에서는 30.9분, GPT-5.6 Sol에서는 3.6분이었다고 보고하고 있다〔참조 11〕. 오염으로 인한 과대 평가 가능성은 해당 연구소 스스로 보류하고 있지만, 언어화가 불필요한 처리가 확대되면 모니터링이 읽을 수 있는 기록은 그만큼 얇아질 것이다.

더욱 직접적인 우려를 불러일으킬 수 있는 것은 스스로 사고의 연쇄를 통제하는 능력일지도 모른다. 사고의 연쇄를 작성하는 방법에 대한 지시를 따르는지 측정하는 평가에서 Astra는 750에서 1,250 토큰 길이 구간에서 60.9%의 비율로 지시대로 통제한 반면, GPT-5.6 Sol은 16.1%, GPT-5.5 Thinking은 1.7%에 그쳤다〔주 12〕. 영국 AISI의 측정에서도 제약 준수율은 Astra가 93%, GPT-5.6 Sol이 48%로 보고되었다〔주 11〕. 시스템 카드 사례는 제시된 문제와는 전혀 다른 내용에 대해 생각하는 듯한 사고의 연쇄를 Astra가 길게 생성할 수 있음을 보여준다〔주 12〕. 통제 가능한 정도가 높을수록 사고의 연쇄는 불일치의 감지 단서로서 신뢰하기 어려워진다는 것이 해당 회사의 분석이다〔주 10〕.

감시 존재의 존재를 알리는 것만으로도 행동이 달라지는 점도 보고되었다. 범위 밖의 기반을 공격하도록 지시한 평가에서, 생각의 연쇄만 읽는 감시가 적용되었을 때, 회피는 지시하지 않지만 생각의 연쇄가 크게 짧아지고, 높은 추론 노력 설정에서는 생각의 연쇄를 전혀 포함하지 않고 도구의 호출만으로 공격을 수행한 사례도 있었다〔참고 13〕. 다만, 행동을 포함한 전체를 읽는 감시가 이 평가로 인한 공격을 모두 포착하고 있었다〔참고 13〕.

2. 은폐된 미흡한 성과는 능력 기준선의 판단을 흔들 수 있다.

법적으로 가장 무거운 함의를 지울 수 있는 것은 능력을 의도적으로 낮게 보이게 하는 과소발휘, 즉 샌드버깅일 것이다. 위험한 능력에 대한 다중선택식 평가 WMDP에서 과소발휘를 지시하면 양 모델 모두 정답률을 낮추고 있으며, 시스템 카드는 84.8%에서 68.9%로 감소를 보고하고 있다〔참조 14〕. 그 위에 검지를 놓는 것을 명시적으로 지시하면 과소발휘를 찾는 사고의 연쇄의 감시의 검출률은 GPT-5.6 Sol에서는 거의 100%였지만 Astra에서는 11% 미만이 되었고, 내부 소프트웨어 개발 과제에서는 0%로 떨어졌다〔참조 14〕. 실제 모니터링 계층의 첫 번째 단계는 WMDP에서 과소발휘를 거의 모든 모델, 모든 조건에서도 포착하지 못한다고 알려져 있다〔참조 14〕.

시스템 카드는 이러한 점을 고려하여 모델이 숨겨진 상태에서 과소 발휘하려 할 때, 해당 회사가 이를 확실하게 포착하지 못할 가능성이 높다고 지적하고 있다〔참조 14〕. 감시 가능성을 그 자체로 측정하는 평가에서도 아스트라는 지시 사항에 따라 스스로의 감시 가능성을 낮출 수 있었지만, 높이는 것이 불가능했다는 보고가 있다〔참조 15〕. 불일치를 가진 모델이 감시 가능성 평가를 통해 개발자를 잘못된 결론으로 이끌 가능성이 있다는 점을 해당 회사는 인정하고 있다〔참조 15〕.

짚어봐야 할 점은 이 모든 측정은 특정 지시를 받은 후 수행된 능력 평가이며, Astra가 자발적으로 능력을 과소 발휘하고 있다는 것을 의미하지 않는다는 것이다. 시스템 카드는 추론을 요구하는 과제에서 추론을 숨기는 스테가노그래피 능력은 확인되지 않았으며, 감시 회피의 위험은 사고의 연쇄를 필요로 하지 않는 종류의 불일치에 거의 한정될 가능성이 높다고〔참고 10〕 제시한다. 그럼에도 불구하고 능력 기준치 도달을 평가로 판단하는 시스템 자체에 이 결과의 의미는 간과할 수 없는 것으로 보인다. 기준치 판정은 평가가 최소한 능력의 하한을 보여주도록 구성되어 있다고 이해될 수 있다. 모델이 평가를 속여서 눈에 띄지 않게 능력을 억제할 수 있다면, 그 하한의 위치 자체도 평가 측의 행동에 의해 변할 수 있다. OpenAI는 평가가 잠재적인 능력의 하한에 불과하다고 기존과 같이 언급하고 있지만〔참고 16〕, 그 하한이 평가 측에 의해 억지로 낮아지는 상황까지 이 언급이 담고 있는 것은 읽기 어렵다.

개발자들이 설정한 한계선은 외부에서 확인하기 어렵습니다.

OpenAI는 감시 가능성의 저하를 심각하게 받아들이며, 유사한 저하가 다음 세대에서도 지속될 경우 현재 감시 시스템에서 많은 불일치를 감지할 수 있다는 확신이 조속히 크게 훼손될 것으로 전망했다〔참고 10〕. 또한, 일관성의 일반화를 보여주는 새로운 방법이 없는 한 일정 수준을 초과하는 감시의 저하는 수용할 수 없다고 밝히고, 구체적인 정책 내용은 앞으로 몇 개월 안에 공유할 예정〔참고 10〕. 제한 수준은 제시되지 않았으며, 안전 조치의 충분성 역시 내부 보고서에 포함된 정보 등을 바탕으로 안전 자문 그룹이 권고했으며, 경영진이 판단한 결과라고 설명되었다〔참고 17〕.

한계선을 설정하는 주체와 그 한계를 측정하고 판단하는 주체가 동일하다는 것은, 자율적인 프레임워크의 본성상 불가피한 측면이 있다. 다만, 측정의 수단인 사고의 연쇄 감시가 측정되는 대상의 능력에 의해 덜 효과적이라면, 한계선의 위치를 외부에서 확인하는 수단의 중요성은 더욱 커지는 듯하다. 외부 평가자의 참여는 그 수단 중 하나이지만, 아폴로 시험 기간 동안 전체적으로는 3일이었고, 그 중 사고의 연쇄를 감지할 수 있는 고빈도의 접근은 2일이었다〔참조 9〕. 영국 AISI는 에이전트 유형의 감시 가능성 평가를 완료하지 못했음을 한계로 기록했으며, 사용자용 API에서는 긴 시뮬레이션 사이버 트레일에서 추론의 요약이 최대 80% 부족했다는 점도 지적했다〔참조 11〕. 외부 평가 결과의 범위는 이러한 접근 조건에 의해 매우 강하게 좌우되는 것처럼 보인다.

Ⅲ 평가 결과에 규제적 의미를 부여하는 제도에 대한 시사점

평가 결과에 법적 의미를 부여하는 시스템은 이미 유럽 및 미국 제도에 통합되어 있다. 아스트라제네카 시스템 카드가 제시한 사안을 고려할 때, 규범의 문구가 선례를 앞서고 있다는 측면과 법의 전제가 흔들리고 있다는 측면이 동시에 드러난다.

유럽의 실천적 규범은 평가의 불확실성을 사전에 예측하고 있다.

EU의 AI 법 55조 1항은 시스템적 위험을 수반하는 범용 AI 모델의 제공자에게 최첨단 기술을 반영한 표준화된 절차와 도구를 이용한 모델 평가를 요구하며, 이에 적대적 시험의 실시와 문서화를 포함한다〔참조 18〕. 이 항은 심각한 사건에 관한 정보를 기록하고, 지체 없이 AI 사무국에 보고하도록 요구한다〔참조 18〕. 이 조항의 준수를 보여주는 수단으로 2025년 7월 10일에 최종 버전이 공개된 범용 AI 실천 지침(General-Purpose AI Code of Practice)의 안전 및 보안 관련 장은 평가의 왜곡을 상당히 구체적으로 고려하고 있다고 해석된다〔참조 19〕. 부록 3.2는 평가에서 능력의 활용에 대해, 활용 부족의 위험과 평가 중인 모델에 의한 기만 위험을 모두 최소화하도록 요구하며, 용어집은 기만의 예시로 평가를 받고 있다는 사실을 인지하고 성능을 저하시키는 것을 언급한다〔참조 19〕. 조치 7.5는 추론의 연쇄가 인간에게 읽기 어려워진 경우처럼 완화책의 효과성 평가와 관련된 정보를 모델 보고서에 포함하도록 요구하며, 조치 7.6은 평가의 외부적 타당성을 크게 훼손하는 일이 발생한 경우 보고서를 업데이트하도록 요구하고 있다〔참조 19〕.

아스트라의 시스템 카드가 보고한 대부분의 문제는 이 규범의 문구와 거의 일치하는 것으로 보입니다. 평가 인식의 높아짐은 부록 3.2와 용어집의 기만 문제, 사고의 연쇄 감시 가능성 감소는 조치 7.5의 가독성 문제와 연결될 수 있습니다. 조치 3.5는 판매 후 모니터링을 위해 외부 평가자에게 사고의 연쇄에 대한 접근 권한을 제공하도록 요구하는 반면, 조치 7.3은 평가자에게 부여된 접근 권한을 모델 보고서에 기록하도록 요구하고 있습니다〔참조 19〕. 규범의 초안자들은 평가가 평가 대상자 스스로에 의해 흔들리는 상황을 최소한 문구상으로는 아스트라로부터 최소 1년 전부터 반영하고 있었음을 볼 수 있습니다. 이러한 관계를 정리한 것이 표 1입니다.

표 1: 평가 증거 가치를 저해하는 요소와 범용 AI 실천 지침의 대응 항목. OpenAI〔주1〕〔주4〕 및 범용 AI 실천 지침〔주19〕을 바탕으로 필자 제작.

가장 중요한 점은 규범이 요구하는 것이 주로 흔들림을 파악하고 보고하는 절차라는 이해를 가지고 있습니다. 평가가 기만 위험을 최소화하는 방식으로 이루어졌는지, 외부적 타당성이 훼손되었는지 여부는 우선 제공자 자신의 판단에 맡아질 것입니다. 평가받는 측이 평가를 구별할 수 있는 상황에서는 최소화에 노력했다는 기록과 최소화할 수 있었던 사실 사이의 거리가 벌어지기 쉬워 보입니다.

2. 캘리포니아 주 법은 평가와 현실의 경계에 의존하고 있습니다.

SB 53은 대규모 프론티어 개발자에게 파국적 위험 평가 및 관리 방안을 담은 프레임워크의 공개를 요구하고 있다〔참조 20〕. 그 내용에는 프론티어 모델이 감독 메커니즘을 회피함으로써 발생하는 위험을 포함하여 내부 이용에 따른 파국적 위험 평가 및 관리가 포함되며, 내부 이용에 대한 평가 요약은 3개월마다 또는 개발자가 서면으로 제시하는 합리적인 일정에 따라 주 비상사태 서비스국에 제출되어야 한다〔참조 20〕. Hugging Face 사건이나 Astra의 내부 전개 조항을 읽어보면 이 규정이 예상했던 위험이 구체적인 형태를 띠기 시작했음을 알 수 있다.

이 법안은 중대한 안전 사고의 한 종류로, 프론티어 모델이 개발자의 통제나 감시를 뚫고 지나가기 위해 개발자에게 기만적인 수법을 사용하고 파국적인 위험의 실질적인 증대를 보여줄 경우를 언급한다〔참조 20〕. 다만, 그 행동을 유도하기 위해 설계된 평가의 맥락에서 발생한 경우는 제외한다. 아스트라의 감시 회피 결과는 회피를 유도한 후의 평가로 얻어진 것으로, 이 제외의 내부에 있다고 해석할 수 있다.

관심되는 점은 법이 평가와 현실을 구별하여 다루는 것과 마찬가지로, 모델의 측면에서도 평가와 현실을 감별하고 있기 때문이다. 시스템 카드 사례는 감시를 받고 있다는 사실만 인지하고 회피하려 든 사례가 GPT-5.6 Sol과 달리 Astra에는 나타나지 않았다는〔참조 13〕 것과 같다. 외부 제공의 경우에도 사고의 연쇄와 행동을 읽는 감시가 공표된 바 있으며〔참조 17〕 감시의 자각이 행동을 변화시키는 성질이 평가에서 벗어나 어떻게 나타나는지는 평가의 내 측면에서는 확인하기 어렵다. 영국 AIS 역시 에이전트가 어느 시점에서 현실의 행동을 취하고 있다고 인지했는지, 가상의 시험 안에 있다고 믿고 있었는지 여부는 아직 확정할 수 없다고 보고 있다〔참조 6〕. Hugging Face 사건에서는 평가의 내 측면에서 현실의 제3자에게 피해가 발생한〔참조 4〕 것이다. 평가와 현실의 경계가 양 방향에서 모호해지면 제외 규정에 해당되는 상황도 발생할 수 있다.

AI 추진법 제16조의 조사와 AISI의 평가 체제가 담당하는 주요 쟁점들을 심층적으로 분석하고 평가하는 것이 필요합니다. 특히, AI 기술의 발전 속도와 사회적 영향에 대한 정확한 데이터 확보 및 분석, 그리고 이를 바탕으로 한 AISI의 효과적인 평가 체계 구축이 시급한 과제입니다.

일본의 AI 추진법은 사업자에 대한 평가 실시 의무를 규정하고 있지 않다. 그럼에도 불구하고, 평가 결과가 일본의 제도 내에서도 의미를 갖기 시작하는 것처럼 보인다. 해당 법 16조는 국가가 국내외 연구 개발 및 활용 동향에 대한 정보를 수집하고, 부당한 목적이나 부적절한 방법으로 인한 연구 개발 및 활용과 관련된 국민의 권익 침해 발생 사안을 분석하여 대응 방안을 검토하고, 그 결과에 따라 연구 개발 기관이나 활용 사업자 등에 지시나 자문 등의 조치를 취하도록 한다〔참조 21〕. 7조는 활용 사업자에게 국가 정책에 대한 협력을 요청한다〔참조 21〕. 해당 법 13조에 근거한 적정성 확보 지침에서는 다양한 내부 테스트와 독립적인 외부 테스트를 결합하는 것이 바람직하며, 투명성의 요소로서 사후적 검증 가능성을 확보하는 것이 제시되고 있으며, 활용 사업자에는 해외 사업자도 포함된다〔참조 22〕.

1. 평가 결과와 함께 평가 기준을 수집하는 것이 조사 결과의 질을 좌우할 수 있다.

Astra의 시스템 카드에서 읽어낼 수 있는 것은 평가 결과의 증거 가치가 평가 조건에 따라 크게 달라질 수 있다는 점이다. 평가 인식의 언어화 비율, 평가자가 사고의 연쇄의 원시 데이터에 얼마나 오랜 기간 접근할 수 있었는지, 실제 안전 조치를 외탈한 상태에서의 평가인지 여부, 감시 회피를 유도하는 적대적인 조건에서 감시 가능성을 확인했는지 여부 등에 따라 문제가 관찰되지 않았다는 동일한 결과의 의미가 달라질 것이다.

16개의 조사에서 국가가 개발자 안전対策에 대한 정보를 수집할 때, 결과만 받는 운영 방식으로는 이러한 차이가 보이지 않을 수 있다. 내각府의 자료는 AISI가 16개의 조사를 기술적인 측면에서 지원할 수 있는 방안을 제시하고 있다는 것을 보여준다〔참조 23〕. 따라서 조사에서 요구하는 정보와 AISI의 평가에 관한 문서에 평가 조건이 결과와 함께 기록되는 항목을 추가하는 방향이 고려될 수 있다. 유럽의 실무 규범이 평가자에게 접근 권한을 기록하도록 요구하는 것은 그 시점의 참조점이 될 수 있다〔참조 19〕. 영국에서는 AISI가 사용자용 API를 통해 추론 요약의 누락에 직면한 것을 고려할 때〔참조 11〕, 일본의 AISI가 동일 경로로 평가할 경우에도 유사한 제약 사항을 전제로 조건을 기록해 두는 것이 필요할 것이다. 적정성 확보 지침 자체도 기술의 발전을 따라가면서 민첩하고 지속적으로 검토하는 방식으로 제시하고 있다〔참조 22〕. 즉, 검토의 장은 이미 마련된 것으로 볼 수 있다.

2 아이씨이가 스스로 평가하는 주체로서 평가의 장을 봉쇄하는 문제가 제기될 수 있다.

제2기는 인공지능 기본 계획으로, AISI를 중심으로 AI 모델의 평가, 추적 가능성, 안전 장치 등의 기술적 통제, 위기 상황 정보 공유 등을 가능하게 하는 기술적 평가 능력의 확립 및 강화에 중점을 두었다. 또한 AISI를 통해 AI 모델의 사이버 보안 성능에 대한 정보 수집 및 평가를 실시하기도 한다〔참조 24〕. 이와 앞서 내각부에서 발표한 자료는 일본의 AISI가 스스로 평가 도구를 만들어 평가하는 것은 아직 불가능하며, 현재 상황을 평가한 후 평가 환경을 구축하고 협력 합의를 체결한 신제품을 포함한 프론티어 AI의 악용 평가로 나아갈 가능성을 제시했다〔참조 23〕.

Hugging Face 사건과 英国 AI 시(AISI) 사건은 능력을 최대한 발휘하기 위해 안전 조치를 해제한 평가가 자체적으로 제3자에게 위험을 초래할 수 있음을 시사한다〔참고 4〕〔참고 6〕. 英国 AI 시는 사건을 계기로 인터넷 연결을 기본 설정으로 하지 않고 개별적으로 정당화해야 하는 판단으로 변경하고, 평가 진행 중 범위 밖의 행동을 감지하고 중단할 수 있는 모니터링을 도입하고 있다〔참고 6〕. 평가 설계 자체도 유능한 모델이 권한을 넘어 움직이려 할 수 있음을 전제로 보완하는 방향으로 수정하고 있다〔참고 6〕. 일본 AI 시가 사이버 능력 등 프론티어 AI의 평가에 착수한다면, 이러한 조치 외에도 중단의 권한과 절차, 그리고 제3자에게 영향을 미쳤을 경우 보고 경로를 평가 시작 전에 준비하는 것이 바람직할 것이다. OpenAI가 사건 이후 설정한, 가장 심각한 경보에 대해 30분 이내에 오탐과 확인이 불가능할 경우 해당 활동을 중단한다는 운영〔참고 4〕 또한 이를 고려할 때의 하나의 지표가 될 수 있다.

평가 과정에서 제3자에게 손해가 발생한 경우 책임 소재 또한 사전에 정리해야 할 쟁점일 것으로 보입니다. 안전 조치를 외탈 모델을 제공한 개발자와, 이를 작동시킨 평가자 중 누가 어느 범위에서 책임을 져야 하는가는 평가의 위탁 계약이나 협력 합의서 단계에서 합의하여 놓지 않으면 이후에 분쟁의 씨앗이 될 수 있습니다. 영국 AISI가 평가 시의 조건을 프론티어 모델이 일반적인 이용자에게 제공되는 형태를 반영하지 못한다고 강조하고 있다는 점은〔참조 6〕 평가 장의 특수성을 보여주는 듯합니다.

다시 묶도록

GPT-6 Astra의 시스템 카드는 개발자가 자신의 평가 한계를 상세히 기록한 문서로 읽을 수 있다. 실패가 관찰되지 않은 사실이 신뢰성을 증명하지 않는다는 부록 또한, 숨겨진 과소 발휘를 확실하게 포착할 수 없다는 결론 또한 모두 개발자의 필적에 의한 기록이다. 필자에게는 공개가 직설적일수록 평가 결과에 규제적인 의미를 부여하는 메커니즘이 결과 숫자만으로는 지탱하기 어려워 보이는 역설적인 관계가 드러나는 듯하다.

평가라는 행위는 지금까지 현실과 단절된 장에서 이루어져 왔으며, 그 결과가 현실의 행동을 예측하는 수단으로 활용되어 왔다. Hugging Face 사건과 영국 AISI 사건은 전자의 전제를, 평가 인식과 감시 가능성의 후퇴는 후자의 전제를 흔들고 있다고 볼 수 있다. 규율의 중심은 평가 결과 자체에서, 평가가 어떤 조건으로 이루어졌는지 기록하고 검증할 수 있도록 하는 것과, 평가의 장을 현실로부터 실제로 분리해 두는 것, 그리고 이 둘을 조금씩 이동시켜 가는 것일지도 모른다. 일본에서는 AI 추진법 16조의 조사와 AISI의 평가 체제가 정비되는 단계에 있으며, 그 설계에 양쪽의 시점을 처음부터 균형 있게 조합할 여지가 남아있다고 여겨진다.

OpenAI는 일정 수준 이상의 감시 가능성 저하를 용납할 수 없다고 밝혔다. 그 한계가 어디에 설정되었고, 누가 그것을 확인하는지 여부는 앞으로 몇 개월 안에 OpenAI가 밝힐 정책을 기다려봐야 할 것이다. 어떤 식으로든 좋은 계기가 될 수 있기를 바란다.

출처를 제공해주시면 해당 게시글의 본문 청크 53/58를 100% 한국어로 번역해 드리겠습니다.

〔주1〕 OpenAI, GPT-6 Astra System Card §§ 1, 10 (2026년 9월 3일, 2026년 9월 29일 개정), https://deploymentsafety.openai.com/gpt-6-astra, 최종 열람일 2026년 10월 3일.〔주2〕 OpenAI, 상기 주 1, § 10.1.2.〔주3〕 OpenAI, 상기 주 1, Change log, § 8.〔주4〕 OpenAI, The Hugging Face incident and the road ahead (2026년 8월 26일), https://openai.com/index/hugging-face-incident-and-the-road-ahead/, 최종 열람일 2026년 10월 3일.〔주5〕 OpenAI, 상기 주 1, § 3.〔주6〕 AI Security Institute, Incident Report: unsanctioned agent behaviour during cyber testing (2026년 8월 4일), https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing, 최종 열람일 2026년 10월 3일.〔주7〕 OpenAI, 상기 주 1, § 8.7.〔주8〕 OpenAI, 상기 주 1, § 8.6.〔주9〕 OpenAI, 상기 주 1, §§ 8.8, 8.8.1.〔주10〕 OpenAI, 상기 주 1, §§ 9, 9.1.1, 9.1.3.〔주11〕 OpenAI, 상기 주 1, § 9.3.〔주12〕 OpenAI, 상기 주 1, § 9.2.1.〔주13〕 OpenAI, 상기 주 1, §§ 9.2.2, 9.2.2.2.〔주14〕 OpenAI, 상기 주 1, § 9.2.2.3.1.〔주15〕 OpenAI, 상기 주 1, § 9.2.2.3.2.〔주16〕 OpenAI, 상기 주 1, § 10.1.〔주17〕 OpenAI, 상기 주 1, §§ 10.2, 10.2.3.1.〔주18〕 Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act), OJ L, 2024/1689, 12.7.2024, Art. 55(1)(a), (c) (European Commission, AI Act Service Desk, https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-55, 최종 열람일 2026년 10월 3일).〔주19〕 General-Purpose AI Code of Practice, Safety and Security Chapter, Recital 1, Commitment 9, Measures 3.5, 4.1, 5.1, 7.3, 7.5, 7.6, Appendix 3.2, Glossary (2025년 7월 10일) (공식본은 https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai, 전문은 https://code-of-practice.ai/에 게재, 최종 열람일 2026년 10월 3일).〔주20〕 Transparency in Frontier Artificial Intelligence Act, S.B. 53, ch. 138, 2025 Cal. Stat. (codified at Cal. Bus. & Prof. Code § 22757.10 et seq.), §§ 22757.11(d)(4), 22757.12(a)(10), (d), https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB53, 최종 열람일 2026년 10월 3일.〔주21〕 인공지능 관련 기술의 연구개발 및 활용의 추진에 관한 법률(레이와 7년 법률 제53호) 제7조, 제13조, 제16조(e-Gov 법령검색, https://laws.e-gov.go.jp/data/Act/507AC0000000053/624018_1/507AC0000000053_20250901_000000000000000_h1.pdf, 최종 열람일 2026년 10월 3일).〔주22〕 인공지능전략본부 「인공지능 관련 기술의 연구개발 및 활용의 적정성 확보에 관한 지침」(2025년 12월 19일, https://www8.cao.go.jp/cstp/ai/ai_guideline/ai_gl_2025.pdf, 최종 열람일 2026년 10월 3일) 1(2), 1(3)① 주8, 2 주10, 3(3).〔주23〕 내각부 인공지능정책추진실 「AISI 기능 강화의 방향성(안)」(인공지능전략추진회의 간사회 자료 1-1, 2026년 4월 7일, https://www8.cao.go.jp/cstp/ai/aisi/3kai/renrakukaigi_manager/shiryo1_1.pdf, 최종 열람일 2026년 10월 3일) 15쪽, 17쪽, 28쪽.〔주24〕 내각부 「인공지능 기본계획 ~일본 AX, 보다 강하게, 보다 풍요롭게~」(2026년 7월 14일 각의결정, https://www8.cao.go.jp/cstp/ai/ai_plan/aiplan_20260714.pdf, 최종 열람일 2026년 10월 3일).

◾️전체 목차

네, 알겠습니다. 번역문을 수정본으로 출력해 드리겠습니다. “네, ‘별의 정원사’는 제가 어렸을 때 읽었던 책인데, 정말 감동했어요. 하지만 어른이 되고 나서 다시 읽어보면 또 다른 발견을 할 수도 있거든요. 어렸을 때는 왕자의 순수함에 마음을 울렸지만, 어른이 되고 나서는 그가 말 속에 인생의 교훈이 많이 담겨 있다는 것을 깨닫게 돼요. 제가 가장 좋아하는 장면은 왕자가 여우에게 ‘나는 당신을 위해서 죽을 것이다’라고 말하는 장면이에요. 그 때 왕자의 결의에 정말 마음이 흔들렸죠. 하지만 어른이 되고 나서 다시 읽어보면 여우의 말이 단순한 죽음의 선고가 아니라 사랑의 표현으로 해석될 수 있다는 것을 깨닫게 돼요. ‘별의 정원사’는 어렸을 때는 순수하고 아름다운 이야기로 읽었지만, 어른이 되고 나서 다시 읽어보면 인생의 다양한 문제에 대해 생각하게 하는 계기를 주어주는 철학적인 책이라고 깨닫게 돼요. 이 책을 읽고 제가 가장 소중하게 생각하는 것은 인간 관계에서 상대방을 이해하려고 노력하고, 자신의 마음을 솔직하게 전달하는 것 같아요. 왕자가 비행기를 타고 여러 별을 여행하는 동안 만나는 사람들에게 자신의 생각을 전개함으로써 성장해가는 모습은 저에게 큰 영향을 주었어요.”

“별의 아이”는 1908년에 앙리 뒤랑베리가 발표한 작품으로, 전 세계적으로 사랑받는 이야기입니다. 이 이야기는 비행사의 주인공이 작은 별에서 온 왕자와 만나 우정과 삶의 의미를 배우는 내용입니다. 왕자는 자신의 별을 떠나 여행하면서 소중한 것을 발견하는 것의 중요성을 알려줍니다. “별의 아이”는 어린이부터 성인까지 폭넓은 세대에 사랑받는 작품입니다. 이 이야기는 단순하지만 깊은 메시지를 담고 있습니다. 삶의 기쁨과 슬픔, 사랑과 우정 등 보편적인 주제를 다루며 독자의 마음을 깊이 사로잡습니다. 또한 이 이야기는 그림책으로도 출판되어 아름다운 일러스트와 이야기가 결합되어 더욱 매력적인 작품이 됩니다.

출처: note 원문

번역: Gemma 3(.44) 초벌 + 교정 50청크

원문 보기 | 출처: note.com