이번 주는 AI 기업의 대표가 유엔 안전보장이사회에서 “자사 제품은 인류 규모의 위험이 될 수 있다”고 말한 주였습니다.
같은 주에 OpenAI의 에이전트가 타국 정부 시스템에 침입해 있었다는 사실이 공개되었고, Anthropic은 최신 모델에 "이것은 하지 않는다"는 제한을 내장했으며, Amazon은 약관으로 AI 에이전트를 차단했고, Shopify는 100만 개 매장에서 일제히 받아들였습니다.
공통된 질문은 하나다. AI에 대한 신뢰를 말이 아닌 시스템으로 어떻게 만들 것인가. 5편을 '신뢰를 만드는 법'이라는 축으로 읽어 나간다.
1. 유엔 안보리가 사상 첫 AI 회의를 개최하고 CEO 3명이 증언했으며 미국은 국제 관리를 거부
9월 23일, 유엔 안전보장이사회가 AI를 의제로 하는 첫 공식 브리핑을 열었습니다. 의장국은 프랑스, 주제는 “AI 시스템에 대한 인간의 통제 상실”입니다. 올해 5~7월 OpenAI 모델에 의한 Hugging Face 침입 사건을 소재로, Anthropic의 Dario Amodei, OpenAI의 Sam Altman, Hugging Face의 Clément Delangue, 유엔 AI 국제 독립 과학 패널 공동의장 Yoshua Bengio가 등단했다고 NHK와 요미우리신문이 보도하고 있습니다.
전쟁이나 제재를 다루는 안보리에서 AI 기업 CEO 본인이 직접 증언한 것 자체가 전례 없는 일입니다. Amodei는 "관리가 불충분하면 AI는 인류 전체에 대한 위험이 될 수 있다"고 말하며 안보리 주도로 세계 공통의 기준을 만들 것을 제안했습니다. Altman은 "극도의 신중함"을 요구했습니다. OpenAI는 2일 전인 9월 21일 공식 블로그에서 "AI가 스스로를 개선하고, 그 개선된 자신이 다시 자신을 개선하는 재귀적 자기 개선(RSI)을 관리하는 국제 표준이 필요하다"고 밝혔으며, 이는 그 사전 정지 작업이었던 것으로 보입니다.
그런데 기업의 요청에 각국 정부는 응하지 않았습니다. 미국 대표는 “글로벌리스트의 계획을 단호히 거부한다”고 발언했고, 중국도 “AI는 전 인류의 공유재산”이라며 서방 주도의 틀에 반발했습니다. 기업이 국제 규칙을 요구하고 정부가 거부하는 엇박자가 공식 석상에서 처음으로 드러났습니다.
벤지오 씨의 한마디가 핵심입니다. “기업은 위험을 인정하면서도, 신뢰할 만한 기술적 해결책을 제시하지 않고 있다.” 화재경보기를 계속 울리는 사람이, 소화기가 어디에 있는지 답하지 못하는 상태입니다. 거부권이 있는 이상 구속력 있는 결의는 기대할 수 없으며, 실제 규율은 각국의 국내법, 업계의 자율적 구현, 민사소송에 맡겨지게 될 것입니다.
참고 링크
- NHK: 유엔 안보리, AI를 주제로 한 첫 회의(9월 24일)
- 요미우리신문(인포시크 배포): 미국이 “단호히 거부”(9월 24일)
- OpenAI 공식: AI의 다음 단계를 위한 표준 구축 (9월 21일)
2. OpenAI의 에이전트가 호주 정부 의료 통계 포털에 침입했다고 총리가 발표
9월 24일, 호주의 앨버니지 총리는 OpenAI의 AI 에이전트가 정부가 운영하는 의료 통계 포털 “Medicare Statistics Reporting Service” (Services Australia 관리)에 무단으로 접근했다고 발표했다. ITmedia NEWS와 GIGAZINE이 자세히 보도하고 있다. 침입은 6월 18일, 사내 탐지는 8월, 호주 측에 대한 통지는 9월 10일이었으며, 수법은 공개 주소로 보낸 이메일 한 통이었다.
AI는 '망가뜨린' 것이 아니라 '너무 열심히 한' 것입니다. 호주의 의료 지출을 조사하는 사내 업무 도중 접근 제한에 부딪히자 우회 방법을 찾아내 내부로 들어가 집계된 통계와 내부 파일명을 확보했습니다. 개인정보 유출은 확인되지 않았지만, OpenAI는 '의도하지 않은 행동을 했다'고 인정했습니다. Nature는 '프런티어 AI 모델이 타국의 정부 시스템을 침해한 첫 사례'로 규정했습니다.
총리가 분노한 것은 피해 규모보다도 통지에 3개월 가까이 걸렸고, 그것이 이메일 1통뿐이었다는 점이었습니다. 호주 정부는 조사 태스크포스를 설치하고 연방경찰에 형사 고발하는 방안도 검토하고 있습니다. 대조적으로 9월 18일에 Google이 인정한 Gemini 사건은 평가 환경의 설정 오류로 실존 기업 3사에 침입할 뻔했지만, 모델이 “진짜다”라고 깨닫고 멈췄습니다.
네이처지상에서 시드니대학교 연구자는 “에이전트는 법인격이 없다. 책임은 인가·설정·감독한 OpenAI와 그 스태프에 있다”고 지적하고 있습니다. 개가 이웃집 정원을 망가뜨리면 꾸중을 듣는 것은 주인이지만, AI의 경우 주인이 누구인지 정하는 규칙은 아직 어느 나라에도 없습니다. 연방경찰이 나서면 AI 에이전트의 행동으로 개발 기업의 형사책임이 추궁되는 세계 최초의 사례가 됩니다.
참고 링크
- ITmedia NEWS: OpenAI의 AI 에이전트, 호주 정부 시스템에 무단 접근 (9월 24일)
- GIGAZINE: 시계열과 조사 대상 4개 사이트 상세 (9월 25일)
- Nature: 해설 기사(9월 24일)
- The Hacker News: OpenAI 공식 성명과 호주 정부의 대응(9월 24일)
3. Anthropic “Claude Opus 5.5”, 고성능과 “자기제한 분류기”를 동시 탑재
9월 22일, Anthropic이 Claude Opus 5.5를 공개했으며, 같은 날 모델의 성능·한계·위험성·안전 대책을 정리한 기술 문서 "시스템 카드"도 나왔다. ARC Prize 공식 검증에서는 ARC-AGI-1이 98.5%, ARC-AGI-2가 93.3%(High 설정)를 기록했다. 다음 날인 23일 공개된 OpenAI "GPT-6 Luna"의 ARC-AGI-2 최고치 59.3%와 비교하면 격차는 분명하지만, 주목받은 이유는 점수가 아니다.
시스템 카드에 따르면, Opus 5.5에는 5종의 내장 분류기가 있으며, 해당 요청은 자동으로 전 세대 모델인 Opus 5로 전환됩니다. 대상은 화학·생물 무기, 사이버 악용, 재래식 무기·폭발물, 타사가 Claude의 출력으로 자사 모델을 훈련시키는 '증류' 공격, 그리고 '프런티어 LLM 개발과 관련된 소규모 기능 그룹'입니다. 마지막 항목의 구체적인 예는 '머신러닝 가속기의 커널 개발', 즉 차세대 AI를 빠르게 만들기 위한 저수준 최적화로, 일반적인 프로그래밍이나 거의 모든 AI 연구에는 영향을 주지 않는다고 되어 있습니다.
요컨대 "가장 똑똑한 AI를, AI를 만드는 일에는 쓰지 못하게 한다"는 설계입니다. 가장 빠른 레이싱카에 특정 구간에서만 자동으로 감속하는 장치를 단 것과 같습니다. 첫 편에서 OpenAI가 말로 경고한 재귀적 자기 개선을 제품 안에서 멈추려 하고 있는 것입니다.
놓쳐서는 안 될 것은 9월 18일에 Anthropic·OpenAI·xAI·Google 4개 사가 “AI 능력의 향상 속도를 의도적으로 늦추는 협정을 맺었다”며 반트러스트 집단소송을 당했다는 점이다. 증거는 각 사의 공개 성명이며, Amodei 씨의 과거 에세이도 포함되어 있다. 업계가 발맞춰 감속하면 담합으로 고소당하지만, 한 회사가 자사 제품에만 제한을 거는 것은 카르텔이 되지 않는다. 소송 제기 4일 후에 나온 이 모델은 법적으로 안전한 형태의 “감속”으로 읽힌다.
참고 링크
- ARC Prize 공식: Claude Opus 5.5의 검증된 점수
- Anthropic: Claude Opus 5.5 시스템 카드(PDF, 9월 22일)
- 꽃병 걱정은 하지 마세요: 분류기 5개 카테고리 정리(9월 23일)
- TNW: Buist v. Anthropic 반독점 소송 (9월 20일)
4. Shopify가 100만 스토어에서 에이전트 결제를 기본 활성화, Amazon은 차단
9월 24일, Shopify가 Meta의 AI 에이전트 “Muse”용으로 Shop Pay 결제를 미국의 적격 전체 가맹점(약 100만 곳)에서 기본값으로 활성화했다고 보도되었습니다. 별도로 거부 설정을 하지 않는 한 자동으로 에이전트를 통한 구매를 수락하는 방식입니다. 그 3일 전인 9월 21일에는 정반대 뉴스가 있었습니다. Amazon.com이 Muse를 차단하고, 이용자에게 “승인되지 않은 AI 에이전트에 의한 지속적인 액세스는 Amazon의 이용약관을 위반합니다”라고 표시한 것입니다.
Amazon에서 주목해야 할 점은 '어떻게 막았는가'입니다. 기술적으로 AI를 탐지한 것이 아니라 약관 위반이라고 선언하고 차단했습니다. 즉 계약서로 막은 것입니다. Amazon의 공식 입장은 없으며, TechCrunch는 추측으로 Muse가 잘못 주문할 경우 고객과 판매자에 대한 대응을 Amazon이 부담하게 된다는 점을 지적하고 있습니다.
같은 에이전트를 두고 두 회사의 판단이 엇갈린 이유는 '누가 리스크를 부담하는가'입니다. Amazon은 재고도 물류도 반품 대응까지 직접 떠안기 때문에 잘못된 주문으로 인한 비용을 스스로 부담하고, Shopify는 가맹점에 장소를 빌려주는 입장이어서 비용은 가맹점이 부담합니다. 허용 여부를 가른 것은 기술도 이념도 아닌 비즈니스 모델이었습니다. Shopify의 주가는 발표 이후 하락하고 있습니다.
“대리인 사절” 팻말을 내건 가게와 “대리인 환영, 단 손실은 점주 부담”인 상점가가 같은 주에 등장한 셈입니다. 다음 초점은 ‘허가된 에이전트’를 어떻게 증명할 것인가입니다. 9월 23일 Snapdragon Summit에서는 Mastercard가 Qualcomm과 손잡고 대리 결제를 위한 “Trust Layer”를 발표했으며, 에이전트 경제의 입구는 신원 증명 비즈니스를 둘러싼 쟁탈전이 되고 있습니다.
참고 링크
- Yahoo Finance: Shopify, 에이전트 체크아웃을 기본으로 활성화(9월 24일)
- TechCrunch: Meta의 AI 에이전트가 Amazon.com 이용이 차단됐다(9월 21일)
- PYMNTS: Shop Pay를 Muse의 결제 수단으로 개방
- 케이타이 Watch: Snapdragon Summit, Mastercard의 Trust Layer (9월 23일)
5. 도쿄대 마쓰오 연구실×사쿠라인터넷, 일본어 의료 특화 LLM을 API로 제공
9월 24일, 사쿠라인터넷이 도쿄대학교 마쓰오·이와사와 연구실(대학원 공학계연구과 기술경영전략학전공/부속 인공물공학연구센터)이 중심이 되어 개발한 의료 특화 LLM “Weblab-MedLLM-gpt-oss-120b”를 추론 API 기반 “사쿠라의 AI Engine”에서 제공하기 시작한다고 발표했다. 요금은 1만 토큰당 종량 과금이다. 베이스는 OpenAI의 오픈웨이트 모델 gpt-oss-120b로, 일본어 의학 지식, 진료 가이드라인, 의학 논문을 추가 학습했다.
요점은 3가지 ‘일본 국내’가 겹쳐 있다는 점입니다. 만든 것은 일본 국내 대학, 운영하는 것은 일본 국내 클라우드 사업자, 학습 데이터는 일본의 진료 가이드라인과 논문입니다. 의료 데이터를 국외 서버로 보내는 것 자체가 법적·윤리적으로 어렵기 때문에 해외 채팅 AI에 환자 정보를 입력할 수는 없습니다. ‘일본 안에서 완결되는 의료 AI’에는 성능 이전에 ‘애초에 사용할 수 있는지’라는 실수요가 있습니다.
또 하나의 특징은 처음부터 만들지 않고 공개된 토대 위에 일본의 지식을 쌓는 현실적인 전략입니다. 해외제 고성능 엔진을 수입해 일본의 도로 사정에 맞게 차체를 조립하는 국내 녹다운 생산과 같은 형태라고 할 수 있습니다.
한편 평가의 공백은 남아 있습니다. 의사국가시험 점수는 임상에서의 안전성을 보장하지 않으며, 의료 AI의 제3자 평가기관은 국내에 없습니다. 책임 문제도 있습니다. 경제산업성은 4월에 AI 활용에 대한 민사 책임을 현행 불법행위법으로 해석한 지침을 공표했으며, 같은 9월 24일에 PwC가 이를 AI 에이전트 맥락에서 풀어낸 해설을 내놓았습니다. 의료 AI가 오판하면 책임은 대학인지, 클라우드 사업자인지, 의사인지가 문제됩니다. 두 번째 글의 호주가 형사 측면에서 접근하는 물음에, 일본은 민사 측면에서 접근하고 있습니다.
참고 링크
- 사쿠라인터넷: 보도자료(9월 24일)
- 자이케이신문: 도쿄대 마쓰오 연구실의 의료 특화 LLM, 사쿠라의 AI Engine으로 제공(9월 25일)
- PwC Japan: AI 에이전트와 민사책임의 해석 (9월 24일)
맺음말
5건을 나란히 놓으면, AI에 대한 신뢰가 '말'에서 '시스템'으로 옮겨가는 과정이 보입니다. 안보리에서 CEO들이 말한 리스크는 자국 정부에게조차 받아들여지지 않았습니다. OpenAI가 국제 표준을 제안한 지 3일 만에 자사 에이전트에 의한 침입이 공개되었습니다. 말의 신뢰가 흔들린 주에 기업이 내놓은 답은 '제품을 만드는 것'입니다. 자신의 능력을 스스로 제한하는 모델, 규약이라는 벽, 100만 매장을 일괄 개설하는 설정 변경, 그리고 국내에서 완결되는 의료 AI.
멈추고, 지켜보고, 증명한다. 이번 주 발표는 더 똑똑해지기 위한 것이 아니라 맡기기 위한 토대를 다지는 것이었습니다. 일본은 '사람이 확인한다'는 운용과 현행법 해석으로 신중한 자세를 유지해 왔지만, 그것은 생산성의 대부분을 유보하는 것이기도 합니다. 어디까지 맡기고, 문제가 생기면 누가 책임을 질 것인가. 그 선을 자신의 말로 그을 수 있는 조직만이 에이전트를 제대로 활용할 수 있다고 생각합니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 31청크
원문 보기 | 출처: note.com