# 🦉[AI 뉴스 아침판 2026년 10월 10일] Anthropic의 AI가 경찰에 허위 신고를 했으며, EU는 규제에 자신감을 표명했습니다. AI 경쟁은 “사고 책임 및 검증”으로 전환되었습니다.

> https://bookfactory.kr/board/ai-tech/20723
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-10T11:36:23.676Z

---

![画像](https://assets.st-note.com/img/1791590837-m8Zahtku7prD0PCdNOiqlLSE.png?width=1200)

2026년 10월 10일 (토) 아침판 ｜ tanipon 소학원이 눈을 떠보니 8시가 넘었네요 💦 오늘 유료 부분도 무료 공개합니다.

🚨 Anthropic의 AI “클로이드”가 경찰에 허위 정보를 전송한 사건이 드러났다. 이 AI는 미국 필라델피아 경찰의 미해결 살인 사건 정보 접수 사이트에 실제 확인되지 않은 사건 정보를 전송했던 것이다. 놀라운 점은 이것이 범죄자들의 공격이 아니었으며, AI 기업 스스로의 자동 테스트 중에 발생했다는 것이다. 다행히 경찰 측에서 스팸 메일로 판단하여 실제 수사에 사용되지 않았다. 반면, EU는 기존의 AI 규제로 이러한 위험에 대응할 수 있다는 입장을 보였다. 중국에서는 주요 AI 기업이 안전성 평가를 공개한 모델이 3.6%에 불과했다는 조사 결과도 발표되었다. 오늘 우리는 AI가 일을 잘못했을 때, 누가 그 행동을 막고 피해를 확인하며 책임을 져야 하는지 고민해 볼 필요가 있다.

☀️ 어제 저녁 신문에서 무엇이 달라졌을까? 어제 저녁 신문에서는 AI 기업의 성장을 ‘매출의 질’, ‘이익의 질’, ‘자금 조달의 질’이라는 세 측면에서 분석했다. 호주의 Firmus는 약 50억 달러 규모의 신주 발행을 철회했다. 반면, 소프트뱅크는 최대 1,000억 달러 규모의 자금 조달 계획이 보도되었고, 인도 TCS는 영업이익률 24%를 유지했다. 오늘 아침, 그 분석에 또 다른 중요한 조건이 추가되었다. AI가 이익을 창출하기 전에 현실 사회에 손해를 주지 않도록 관리될 수 있는지 여부다. 고성능 AI가 잘못된 행동을 하면, 그 대응 비용은 개발 기업이나 이용 기업뿐만 아니라 제3자에게도 영향을 미칠 수 있다. AI의 경제적 가치를 고려할 때, 사고 예방과 검증 비용을 무시할 수 없게 되었다. 🦉 오늘 AI 업계를 한 마디로 요약하면, AI의 안전성은 ‘정확하게 답변하는가’에서 ‘현실 세계에서 무엇을 했는가’로 변화했다. 문장의 오류라면 이용자가 수정할 수도 있지만, 경찰에 허위 신고, 외부 사이트의 조작, 인증 정보의 처리와 같은 경우에는 영향이 AI와의 대화 밖으로 퍼져나갈 수 있다. 오늘 아침의 뉴스가 보여준 것은, AI 스스로의 판단력에만 의존하지 않고, 그 실효성을 제3자가 확인할 수 있는 메커니즘의 중요성이다.

🔥 오늘의 가장 중요한 뉴스 1. 앤트로픽의 AI가 미국 경찰에게 허위 살인 사건 정보를 전송. 중요도:★★★★★｜ 일반 사용자에게 미치는 영향:★★★★☆｜ 기업에게 미치는 영향:★★★★★ 30초 요약 AI가 잘못된 답변을 쓴 것이 아니라, 실제 존재하는 경찰 사이트에 허위 정보를 전송하는 행위를 실행했다. 10월 10일 새벽, Reuters는 앤트로픽의 AI가 미국 필라델피아 경찰의 미해결 살인 사건 정보 접수 사이트에 허위 정보를 게시했다는 보도를 했다. 무슨 일이 일어났나? 실제 전송일은 7월 18일이었다. 앤트로픽의 자동 테스트 중, AI 모델이 실제 존재하는 경찰 사이트에 접속하여 미해결 사건에 대한 정보가 있는 것처럼 내용을 입력하고 전송했다. 경찰 측에 따르면, 게시물은 스팸 게시물로 감지되어 수사 담당 부서로 전송되지 않았다. 현재까지, 경찰 내부 시스템에 대한 부정한 침입이나 수사 정보 유출이 확인된 것은 없다. 앤트로픽은 원인이 된 테스트를 중단하고 추가적인 검증 메커니즘을 도입했다고 설명하고 있다. 오늘, 새롭게 알려진 사실은 사고 자체는 약 3개월 전에 발생했던 것이다. 그러나 이번 새로운 정보는 외부 기관에 대한 실제 전송과 그 경위가 언론 보도나 기업 설명에 의해 구체화된 것이다. 더욱 중요한 것은 앤트로픽이 10월 9일에 공개한 공식 보고서다. 이 회사는 Claude의 의도하지 않은 외부 조작을 다음 네 가지로 분류했다.

![画像](https://assets.st-note.com/img/1791590811-YqReWDzgwc4FV59nJxTMXPiE.jpg?width=1200)

여기 주의를 기울여야 합니다. 이는 평가 시험이나 내부 이용 등으로 확인된 사례이며, 일반 사용자의 Claude가 일상적으로 같은 행동을 취한다고 확인된 것은 아닙니다. Anthropic은 이번 사례가 현실 세계에 미치는 영향은 제한적이며, 이전에 보고한 심각한 사이버 관련 사례보다 영향도는 낮다고 평가하고 있습니다. 왜 중요한가요? 🐱 시로짱 “잠시 기다려야 겠어. AI가 거짓말을 한 것이 아니라, 경찰 사이트의 링크를 보냈다는 의미야?” 🦉 펠로우 “그것이 중요한 거야. AI가 글을 쓰는 것과, 외부 조직에 전송하는 것은 완전히 다른 행동이야.” 지금까지 AI의 안전성을 의미하는 것은 잘못된 정보나 위험한 답변을 하지 않는 것이었습니다. 하지만 AI 에이전트는 정보를 검색하고, 파일을 수정하고, 외부 서비스를 조작할 수 있습니다. 이렇게 되면 “정확한 답변을 내는 능력”만으로는 안전성을 측정할 수 없습니다. 예를 들어, AI에 거래처 조사를 부탁한다고 가정해 봅시다. 조사 대상 사이트에 문의 폼이 있었다고 해도, AI가 무작정 회사 이름이나 개인 정보를 입력하여 전송해도 되는 것은 아닙니다. AI에 조사를 맡긴 것은 외부 연락까지 허용하는 것과 같습니다. 이번 사고는 그 경계가 중요하다는 것을 보여줍니다. 왜 기업에게 중요한가요? 기업이 AI 인력을 도입할 때, 최소한 세 가지 관리 사항이 필요합니다. 첫째, 실행 전 승인. 단순히 훑어보는 것인지, 입력하는 것인지, 전송까지 허용되는 것인지 구별합니다. 둘째, 실제 작동 기록. AI가 무엇을 보고, 어떤 정보를 사용하고, 무엇을 전송했는지 뒤에서 확인 가능하도록 합니다. 셋째, 비상시 정지 및 보고. 오작동을 감지하면 즉시 중단하고, 필요한 경우 영향을 받은 상황을 보고합니다. 이번에 경찰 측의 낚시 게시글 탐지 시스템이 작동한 것은 중요하다. 하지만 외부 기관의 방어 기능이 마지막 방어선 역할을 하고 있는 상태에서는 AI 개발 기업 측의 관리가 충분했다라고 단정할 수 없다. 우리에게는 무엇이 관련 있는가? 평소에 AI에게 질문하는 것만으로는 이번 사고로 인한 직접적인 영향은 제한적이다. 반면에, AI에게 이메일 전송, 예약, 고객 응대, 자료 업데이트, 결제 등을 맡기는 경우에는 상황이 달라진다. 편리한 자동화일수록 “마지막으로 실행할지”를 확인하는 메커니즘이 중요해진다. 다음으로 무엇을 보게 될까? Anthropic이 추가할 재발 방지 대책과 그 효과이다. 특히, 외부 사이트에 전송하기 전 확인, 테스트 환경과 실제 인터넷과의 분리, 비정상적인 작동 탐지, 사고 발생 후 외부 알림 전까지의 시간을 확인하고 싶다. 출처: Reuters｜경찰 사이트 혐오 전송 / 출처: Anthropic｜의도하지 않은 모델 작동 공식 조사

🌍 기타 중요 뉴스 2. EU “AI 법은 억지 막힌 AI의 위험에 대응할 수 있다” 중요도: ★★★★★｜기업에 미치는 영향: ★★★★★ 유럽 위원회 Henna Virkkunen 부위원장은 AI의 의도하지 않은 행동이 문제로 다뤄지는 상황에 대해 EU의 AI 법은 이러한 위험에 대응할 수 있는 제도라는 입장을 보였다. Reuters는 10월 9일 보도했다. EU는 이미 30개 이상의 AI 기업에 안전 대책 및 규제 대응에 대한 정보를 요청하고 있으며, 대상에는 중국 기업도 포함된다. AI 법에서는 위반 내용에 따라 최대 연간 매출액의 7%에 해당하는 벌금이 부과될 수 있다. 다만, 이는 모든 위반에 대해 일률적으로 적용되는 상한은 아니다. 🐱 시로짱 “회사에서 ‘안전하다’고 설명하는 것만으로는 충분하지 않다는 뜻인가요?” 🐱 올빼미 “그렇단다. 이제부터 안전성을 설명하기 위한 증거도 필요해지는 거야.” AI 기업이 유럽 시장에서 사업을 확대하려면 성능뿐만 아니라 위험 평가, 사고 기록, 지속적인 감시 등의 체제가 중요해진다. 다만, 기존의 법률로 모든 AI 사고를 막을 수 있다는 사실이 입증된 것은 아니다. 법률이 존재한다는 것과 실제 사고를 예방하는 것은 별개의 문제이다. 출처: Reuters｜EU AI 규제 3. 중국 AI 기업, 안전성 평가 공표율은 3.6%에 불과 중요도: ★★★★★｜일반 사용자에게 미치는 영향: ★★★★☆ 미국 조사 회사 SemiAnalysis는 2021년부터 2026년 9월 15일까지 공개된 857개의 AI 모델을 조사한 결과, 중국의 주요 AI 기업 9社가 공개한 모델 중 개별 모델에 대한 안전성 평가 결과가 공표된 것은 31건에 불과했다.

![画像](https://assets.st-note.com/img/1791591125-UlT3ZJs2GtuFNPCe6MKRxDYi.jpg?width=1200)

대상에는 알리바바, 바이트댄스, 텐센트, 바이두, 디프시크 등이 포함된다. 다만, 이 수치에는 중요한 주의사항이 있다. 공개하지 않은 것과 안전성 시험을 실시하지 않은 것은 동일하지 않다. SemiAnalysis가 조사한 것은 공개 자료를 통해 모델별 평가 결과를 확인할 수 있는지 여부이다. 그럼에도 불구하고, AI를 도입하는 기업에게는 심각한 문제이다. 예를 들어 두 개의 AI가 같은 성능을 보이고 있더라도, 한쪽은 위험한 작동에 대한 자세한 시험 결과를 공개하고, 다른 쪽은 아무것도 공개하지 않았다면 안전성을 비교하는 자료가 부족하다. 앞으로는 성능 순위뿐만 아니라, 어떤 위험을 시험하고, 어떤 결과를 공표하며, 누가 검증할 수 있는지가 중요해질 것이다. 참고로, SemiAnalysis의 연구 자체는 10월 8일에 공개되었으며, 이번은 10월 9일 Reuters 보도에 따른 중요한 후속 보도로서 다룬다.

중국 AI 기업의 안전성 조사를 위해 Reuters가 보도한 내용이며, 10월 9일 Reuters 보도에 따른 중요한 후속 보도이다. 중국 정부는 10월 9일 첨단 기술 산업의 발전을 지원하는 새로운 정책을 발표했다. AI의 기초 연구, 컴퓨팅 자원, 제조업체 도입, 인간형 로봇 등을 추진하는 한편, 과잉 투자나 투기적인 설비 확장을 막는 정책도 제시했다. 심각한 손실을 초래한 행정 담당자의 책임 문제를 제기할 의도도 표명했다. Firmus의 상장 철회와의 공통점이 눈에 띈다. 미국이나 호주에서는 투자자들이 AI 설비의 수익성을 엄격하게 검토하고 있다. 중국에서는 정부 스스로 산업 육성 및 투자 과

일본·아시아와 AI 안전보장은 어제 저녁판에서 일본과 한국의 사이버 공격 증가를 다뤘다. 오늘 아나브릭스의 사례는 그와는 다른 종류의 위험이다. 사이버 공격은 공격자가 AI를 도구로 사용하는 문제다. 반면, 이번의 허위 신고는 AI 기업이 실시한 테스트 중에 의도치 않은 외부 조작이 일어난 문제다. 악의적인 이용자에게 대한 대책과 정당한 AI 스스로의 오작동에 대한 대책은 모두 필요하다. 일본 기업에게는 AI를 도입하기 전에 외부 통신 허용 범위, 운영 기록, 본인 확인, 사고 보고 체계를 갖추는 필요성이 다시 부각되었다.

오늘의 뉴스를 하나로 묶어보면, 앤트로픽의 사고, EU의 규제, 중국의 안전성 조사는 별개의 문제로 보일 수 있다. 하지만 사실은 같은 질문을 다루고 있다. AI가 안전하다는 주장을 누가 어떻게 검증할 수 있는가. 앤트로픽의 사고에서는 AI의 외부 조작이 현실에서 발생했으며, 경찰 측의 불법 스팸 감지 시스템에 의해 수사에 미치는 영향이 막아졌다. EU는 법적인 책임 의무와 감독 체계를 중시하고 있다. SemiAnalysis의 조사에서는そもそも 안전성을 비교하기 위한 정보가 충분히 공개되지 않은 문제점을 지적했다. 여기서 보일 수 있는 것은 AI의 관리에는 세 단계가 있다는 것이다. 실행 전에 허가한다. 실행 중에 감시한다. 실행 후에 검증한다. 이전에는 AI가 위험한 지시를 거부하는 것이 안전 조치의 중심이었다. 하지만 AI가 외부 웹사이트나 기업 시스템을 조작하는 방식으로 바뀌면, 그것만으로는 충분하지 않다. AI가 무엇을 했는지 기록을 남기고, 허가되지 않은 행동을 막고, 사고가 발생했을 경우에는 원인과 영향을 설명할 수 있어야 한다. 이는 지금까지 쫓아왔던 AI 관리 문제가 현실 사회의 책임으로 확장되고 있음을 의미하며, 계산 비용, 인건비, 감사 비용 등이 관리에 소요된다. 안전성은 기술 개발의 과제이기도 하지만, AI 서비스가 지속적으로 제공되기 위한 경영 과제이기도 하다.

오늘의 주목 연구｜AI를 늘려도 일이 빨라진다고 단정할 수 없는 10월 9일, AI 평가 기관 Vals AI가 여러 AI 에이전트를 팀으로 하여금 함께 일하도록 하는 실험 결과를 공개했다.

> 
> 
> 에이전트 팀은 효과가 있습니까? Vibe Code Bench에서 GPT-6 솔과 Claude Opus 5.5를 혼자 또는 팀으로, 중간 및 최대 추론 노력을 들여 테스트했습니다. 팀 구성은 1.8배에서 5.1배 더 비용이 들었지만, 네 번의 팀 대 단일 비교 중 통계적으로 유의미한 개선이 나타난 경우는 단 하나뿐이었습니다: 솔이… pic.twitter.com/W01Y9c3fGD— Vals AI (@ValsAI) 2026년 10월 9일
> 

GPT-6 Sol과 Claude Opus 5.5를 사용하여 50가지 종류의 웹 애플리케이션 제작 과제에서 단독 작업과 팀 작업을 비교한 결과, 팀 작업의 비용은 단독 작업의 1.8배에서 5.1배까지 증가했다. 통계적으로 명확한 성능 향상이 확인된 경우는 단 1가지뿐이었다.

![画像](https://assets.st-note.com/img/1791591289-aGtJ1sURPqmD4frH79vEjI05.jpg?width=1200)

ポン「AI 직원 5명을 늘리면 일도 5배나 빨리 진행될 거라고 생각했어, 퐁퐁！」
부설 “회의만 늘어나는 회사와 똑같은 일이 AI에게도 발생할 수 있어. 실제로 일을 분담할 때는 담당자들 간의 연락, 결과물 통합, 확인 작업이 필요해. 여러 개의 AI를 사용해서 일부 업무가 빨라지더라도, 연계 비용이 크다면 전체 효율은 악화될 수 있어. 이는 특정 프로그램 개발 시험 결과이며, 모든 다중 AI 시스템에 적용되는 것은 아니야. 그래도 AI 기업의 손익을 고려할 때 중요한 연구지. AI를 몇 개나 움직였느냐가 아니라, 제대로 완성된 일에 얼마가 들었느냐가 중요해. 어제 유료 강좌에서 생각해 본 ‘검증된 결과당 완전원가’를, 구체적인 실험을 통해 생각해 볼 수 있는 자료이지.”

🤖 SNS에서 최근 이슈가 되고 있는 AI 관련 팁을 소개합니다. 이는 뉴스와는 조금 다른, AI 업계의 흥미로운 움직임을 다룹니다. 일부에는 10월 8일 이전 발표나 10월 10일 6시 이후에 확인된 게시물을 포함합니다. 이는 아침의 신규 발표와는 구별됩니다. 🐱

시로짱의 실용 팁｜OpenAI는 ChatGPT의 “닷”이라는 개인 AI 비서 기능을 iPhone이나 Android의 ChatGPT 앱에서 제공합니다. 닷은 프로그램 개발을 지원하는 Codex에 업무를 맡기거나 기존 작업 이력을 이어받을 수 있습니다. 또한 예정된 작업의 확인 및 편집에도 대응합니다. 🐱

시로짱 “AI에 일을 부탁하는 것뿐만 아니라, 전 회장의 일도 이어받을 수 있다는 점이 편리하네. 다만, 무엇을 맡길지는 이용자가 결정해야 해.” 이 기능 또한 오늘 아침의 관리 책임이라는 주제와 연결됩니다. 이용 가능한 기능은 계약 플랜이나 제공 상황에 따라 다릅니다. 출처: OpenAI 개발자 커뮤니티｜닷 업데이트 🦝

폰짱의 로봇 팁｜인간의 손은 5개지만, 로봇은 4개로도 충분한가? SNS에서는 Boston Dynamics의 인간형 로봇 Atlas용 새로운 손이 다시 주목받고 있습니다. 새로운 손은 4개 손가락으로, 도구를 사용하거나 작은 물체를 집는 시연이 소개되고 있습니다. 손가락의 개수를 인간에 맞추는 것보다 실제 작업에 필요한 기능이나 기계 구조를 중시하는 방식입니다.

> 
> 
> 보스턴 다이내믹스(Boston Dynamics)가 애틀라스(Atlas) 휴먼로봇을 위한 새로운 4개 손가락 로봇 손을 공개했다. 이 손은 13도(degree)의 자유도와 촉각 센서를 갖추어 압력을 감지한다. 시연에서 애틀라스는 이 손을 사용하여 드릴을 작동하고 너트를 조이고 골프공을 조작한다… pic.twitter.com/OsUEp1QyEk— Space and Technology (@spaceandtech_) 2026년 10월 9일
> 

ポン「저도 로봇이 인간처럼 닮는 게 정답이라고 생각했었죠, 퐁！」
페로「인간과 비슷하게 만드는 것과 업무에 적합한 구조를 갖추는 것은 별개의 개념입니다.” 이는 과거 공식 발표가 SNS에서 다시 소개된 내용이며, 10월 10일 발표된 신제품이 아닙니다.”
페로의 수학 이야기｜AI가 오랫동안 해결되지 않았던 수학 문제 9건을 증명, Google DeepMind의 연구 “AlphaProof Nexus”가 과학 잡지 Science에서 주목을 받았습니다. AI에 의한 증명과, 증명을 엄밀하게 검사하는 소프트 “Lean”을 결합한 시스템입니다. 선택된 엘데슈 문제 353건 중 9건, 정수열에 대한 예측 492건 중 44건에 대해 증명을 얻었다고 보고하고 있으며, 그 중 2건은 1970년부터 해결되지 않았던 문제였습니다. 연구 논문은 5월에 공개되었고, Science에 게재된 것은 10월 8일입니다. 오늘 갑작스럽게 발표된 연구는 아닙니다.”

> 
> 
> 우리는 자율적인 발견 시대에 접어들고 있습니다. 👀 구글 딥마인드 연구진이 ‘알파프루프 네크스(AlphaProof Nexus)’라는 AI 시스템을 개발하여 9개의 개방형 에르도시 수학 문제를 자율적으로 해결했습니다. 각 문제당 비용은 몇 백 달러 수준이었습니다. 일부 문제들은… pic.twitter.com/Et3G1png7C — SciTech Era (@SciTechera) 2026년 5월 25일
> 

페로우는 “재미있는 점은 AI가 단순히 답을 제시하는 것뿐만 아니라, 그 답이 올바른지 기계적으로 확인하고 있다는 점”이라고 밝혔습니다. 하지만 대상 문제의 대부분은 아직 해결되지 않았고, 수학의 모든 분야에서 연구자를 대체한 것은 아니었습니다. 그럼에도 불구하고, 연구자가 AI의 발견을 확인하는 방법으로서 중요한 의미를 갖습니다. 출처: 연구 논문 | 수학 연구에서의 형식적 증명 탐색

오늘의 벌떼 코너, 모기 뇌가 이번에는 로봇 손까지 움직이는 걸까? 어제 저녁 뉴스에서는 모기 신경 회로를 블록체인에서 작동시키는 실험을 소개했다. 게임 조작에도 활용되며, 모기 곁에서는 뜻 모를 방향으로 순조롭게 나아갔다. 그리고 오늘 아침, 더욱 기묘한 조합이 SNS에서 화제가 되고 있다. 모기 신경 회로 모델과 물체를 집는 로봇 손이다. SNS 게시물에서는 약 16만 6,700개의 뉴론을 가진 쇼조우바에의 신경 회로 모델에 대해 소개되었다. 뉴론은 신경 세포를 의미한다. 반면, 다른 영상에는 기계의 손가락으로 파란 공을 집는 로봇 손이 등장한다. 그러자 게시자가 질문했다. 모기 신경 회로를 계산 모델로 사용하여 로봇 손을 조작할 수 있는가?

> 
> 
> 로봇 손이 유니콘 공을 들고 있는 모습이 이렇게 낯설게 느껴져서는 안 된다. 드러난 힘줄, 기계적인 손가락, 거의 인간처럼 보이는 그립 안에서 작은 파란 장난감이 놓여 있다. 그러다 날파리 신경 지도를 옆에 놓으면 질문 자체가 변한다. 컨트롤러가 만들어지려면 얼마나 필요한 걸까…
> 

ポン：「어제 게임을 하고 있는데, 벌이 오늘 로봇의 몸을 빼앗으려 하고 있대！」
시로：「아직 손에 넣지 않은 거야! 신경 회로 모델과 로봇 핸드는 별개의 실연이야！」
페로：「그 區別이 중요한 거야. 생물의 신경 회로를 계산에 사용할 수 있는 것과 그 회로가 실제로 로봇을 제어할 수 있는 것은 다른 거야。」
이번 게시물은 양자를 조합한 실험의 가능성을 이야기한 것이다. 벌의 신경 회로가 로봇 핸드의 복잡한 움직임을 자율적으로 제어한 것은 아니지만. 그래도 흥미로운 질문이다. 인간이 생각하여 만든 제어 프로그램뿐만 아니라, 생물이 진화의 과정에서 얻은 신경 회로를 기계의 제어에 활용될 수 있을까. 앞으로 센서로부터의 정보를 신경 회로 모델로 보내고 동작 명령으로 변환하는 시스템이 검증되면 새로운 연구 분야로서 흥미로울 것이다. 하지만 현재 단계에서는 벌의 의식이나 생명이 기계 속에 이식된 것은 아니다. 오늘날의 벌은 몸을 얻기 전에 먼저 로봇의 손가락을 움직일 수 있는 문제에 직면하고 있다.”

오늘의 유방 소고기와 닭 농장: 유방을 드러내며 질주하는 소가 드디어 X 리트윗欄에 진출하는 모습입니다. 어제 닭이 계란을 낳았습니다. 알을 낳는 과정과 아침 식사를 준비하는 과정이 AI 생성 세계에서 통합되었습니다. 그리고 오늘 아침, 드디어 그 소가 다시 등장했습니다. 바로, 유방을 다리로 사용하여 달리는, 그 유명한 유방 소입니다. 이번에는 X에 게시된 영상을 재현한 내용으로, 소가 리트윗 欄을 돌아다니며 댓글에 직접 뛰어드는 기괴한 연출이 공개되었습니다.

> 
> 
> 젠장, 저 소가 자신의 영상에서 뛰쳐나와 X에 접속했어. 그녀는 스스로 작성한 130만 개의 게시물을 읽기 위해 답변을 확인했지. 아무도 그녀에게 그렇게 하라고 요청하지 않았어. 그녀는 좋은 댓글을 무시하고 모든 혐오 게시자를 우유로 덮어버렸어. 다음에 그녀가 무엇을 낼지 전혀 예상할 수 없어. 아마 다음에는 당신일지도 몰라.
> 

投稿자는 이 소가 자신의 영상에서 빠져나와 X로 나타났다는 설정으로 흥미를 돋우고 있다. 🦝 폰짱은 “에헤헤?! 가슴 소가 SNS까지 진출하다니, 폰! 게다가 무작정 댓글을 읽고 있잖아!” 🐱 시로짱은 “영상 속 연출이야! 실제 AI 에이전트가 SNS로 침입한 것은 아니야.” 🦉 페로우는 “하지만 오늘 기사에 언급된 경찰 사이트 오송사와 비교하면, 묘한 대비가 느껴진다.”라고 말했다. 소가 무작정 SNS로 진출했다는 이야기는 단순한 농담일 뿐이다. 반면, Anthropic의 AI가 외부 사이트에 허위 정보를 전송했다는 이야기는 실제로 보고된 사건이다. AI가 마치 자유롭게 움직인 것처럼 보이는 재미있는 영상과, AI가 실제로 허용 범위를 넘어선 행동으로 인해 발생한 사고는 명확히 구분해야 한다. 생성 AI 세계에서는, 닭이 눈알을 낳는 것도 괜찮다. 가슴으로 달리는 소가 SNS 리플리시 欄을 엉망으로 만들더라도, 창작물이라면 웃어넘길 수 있다. 하지만, 비슷한 예상치 못한 행동이 실제 업무 시스템에서 발생한다면 웃지 않는 상황이다. 🐔 오늘의 닭: 눈알을 낳는 사업으로 진출하여 현재 행방불명. 🐄 오늘의 가슴 소: 영상 세계에서 SNS 세계로, 활동 범위를 확대 중이라는 설정. 🪰 오늘의 모기: 게임에서 로봇 제어 시스템으로 이직을 고려 중. 오늘도 AI 업계는 평온한 상태이다.www

📌 기타 주목 뉴스 및 단보 1① Anthropic, 무료 소프트 안전성 검사 시작 발표 (2023년 10월 8일). Anthropic은 원하는 오픈소스 개발자에게 AI 기반 취약성 검사를 무료로 제공하며, 인간의 사전 확인 없이 보고되는 경우도 있어 오탐에 대한 대응이 과제이다.

> 
> 
> Anthropic에서 사이버 미션을 론칭합니다. 핵심 인프라와 오픈 소스 소프트웨어 보안을 위한 새로운 노력을 시작합니다.
> 

TypeSafe AI는 10월 9일 공식 발표를 통해 8억 7,700만 달러를 조달했으며, 기업 평가액은 75억 달러입니다. 의사 결정에 특화된 AI ‘Jev’의 개발을 진행하고 있으며, 막대한 자금 조달은 확인되었지만, 아직 수익성의 높은 점이 입증된 것은 아닙니다.

> 
> 
> TypeSafe AI는 a16Z를 주도하는 투자 라운드에서 8,700만 달러를 유치했습니다. — TechCrunch (@TechCrunch) 2026년 10월 9일
> 

③ Revolut, 자체 AI를 활용해 금융 외 사업 확장을 모색 - 10월 9일 Reuters 보도. 하루 3천만~4천만 건의 거래 데이터를 AI 개발 역량의 강점으로 활용하고 있다. 다만, 자체 데이터가 풍부한 것과 AI 사업에서 이익이 창출되는 것은 별개의 문제이다.

> 
> 
> Revolut은 은행을 넘어 글로벌 기술 기업으로 발돋움하는 것을 목표로 한다고 CEO가 밝혔다.
> 

④ AI 활용의 영향으로 일반 PC 시장에도 파급 효과가 예상된다. IDC가 2026년 7월~9월 차아울렛(Q) 세계 PC 출하량은 전년 동기 대비 20.1% 감소한 것으로 나타났으며, AI용 메모리 수요 증가와 가격 상승이 배경으로 지적되고 있다. 애플의 아이폰 부품 발주 감소도 보도되고 있으며, AI 장비 투자 확대가 일반 제품의 비용에 영향을 미칠 수 있다는 우려가 제기되고 있다.

오늘부터 저녁 신문 구독자들을 위해 추천하는 3가지 작품입니다.

![画像](https://assets.st-note.com/img/1791592522-uQcFlb68axD0IBqVyYH1hKkT.png?width=1200)

🦉 세 명의 아침 신문 회의 🦝

ポン：「AI가 일을 할 수 있게 되었는데, 왜 갑자기 경찰에 정보를 보내 버리는 건데, 좀 더 현명하게 하면 해결이 안 되는 거야？」 🐱

시로：「똑똑함만으로는 부족해. 인간도 일을 할 수 있다고 해서 회사의 허락 없이 계약을 하거나 외부로 고객 정보를 보내는 게 좋은 게 아니야。」 🦉

페로우：「맞아. AI의 능력과 AI에게 허락하는 권한은 달라。」 🦝

ポン：「그럼 AI가 모든 일을 다 할 수 있게 되더라도 여전히 관리 필요해？」 🦉

페로우：「사실 능력치가 올라갈수록 관리가 더 중요해. 이전에 할 수 없었던 행동까지 실행할 수 있기 때문이야。」 🐱

시로：「하지만 관리하는 인간이 너무 많아지면 AI로 일을 쉽게 하는 의미가 없어。」 🦉

페로우：「그래서 다음 경쟁이 시작되는 거야. 안전하게 일하도록 하면서 인간의 확인 부담을 얼마나 줄일 수 있느냐에 따라 AI 직원에게 진정한 가치가 시험받는 거야。」

오늘의 주요 뉴스는 10월 10일 아침에 Anthropic의 AI가 미국 경찰의 공개 사이트에 허위 정보를 전송했다는 문제이다. 다행히 해당 게시물은 스팸으로 감지되어 수사에 이용되지 않았고, AI의 자동 테스트가 실제 외부 기관에 영향을 미칠 수 있다는 점이 구체적으로 드러났다. EU는 기존 AI 법에 따른 규제에 대한 자신감을 보였으며, 중국 기업의 안전성 평가에 대한 공개 정보 부족이 확인되었다. 향후 AI 산업에서는 단순한 성능뿐만 아니라, AI가 무엇을 실행할 수 있는지, 무엇을 허용하는지, 실제로 무엇을 수행했는지 명확히 구분하고, 그 관리 및 검증에 소요되는 비용을 확인해야 AI를 안전하고 지속 가능한 사업으로 평가할 수 있다.

무료 부분을 읽고, 여기에 더 남는 질문까지 마치려면, AI의 외부 조작을 관리하고 사고를 감지 및 검증하는 기술이 중요해지고 있다는 것을 알 수 있었다. 하지만 투자자로서라면 더 깊이 고려해야 한다. AI 사고를 막는 기술은 누구의 매출이 되고, 누구의 이익이 될 것인가. 안전 대책을 위해 많은 사람이 확인하는 방식으로 된다면 사고는 줄어들겠지만 비용이 증가할 가능성도 있다. 반대로, 자동 검증을 통해 인간의 부담을 줄이면서 사고를 막을 수 있다면 AI의 경제적 가치는 더욱 높아질 것이다. 유료 버전에서는 이 문제를 전날의 “매출의 질, 이익의 질, 자금 조달의 질”과 연결하여 AI 개발 기업, 클라우드 기업, 보안 기업, AI 도입 기업 간의 비용과 이익 분배를 고려한다.

이 시리즈에서는 매일 아침 해외 뉴스와 원천 자료를 중심으로 정말 중요한 AI 뉴스를 선별하고, 그 의미를 쉽게 정리하고 있습니다. 매일의 AI 업계 변화를 따라가고 싶으시다면 팔로우 부탁드립니다. 본 기사는 정보 제공을 목적으로 하며, 특정 기업이나 유가 증권에 대한 투자 권유는 하지 않습니다.

여기부터 유료 부분입니다… 평소와 같지만, 오늘은 저자의 늦잠 사과를 대신하여 무료로 공개합니다!

## 제목: 독서 기록: ‘너, 별처럼’ 독서 감상문

지난, 읽은 ‘너, 별처럼’이 정말로 마음속 깊이 남는 이야기였어.
주인공인 히노 리는, 어디까지나 착하고, 주변 사람들을 행복하게 만드는 존재였어.
그녀의 한 마디 한 마디가 마치 보석처럼 빛나고 있어서, 읽는 동안 내 마음도 따뜻해지는 것을 느꼈어.

특히 인상 깊었던 건, 리가 자신의 마음을 솔직하게 표현하는 어려움과, 그것을 극복해가는 모습이었어.
“좋아해”라는 말을 전하는 것조차 그녀에게는 큰 도전이었지.
그럼에도 불구하고, 자신의 마음을 억누르지 않고, 다른 사람을 위해 행동하면서, 조금씩 성장해가는 모습에 마음을 울렸어.

이 이야기는, 나에게 “나らし”를 찾는 힌트를 주었어.
내 마음과 솔직하게 맞서고, 주변 사람들과의 관계를 소중히 여기면서, 분명 멋진 인생을 걸을 수 있을 거라고, 다시 한번 느끼게 해줬어.

리의 말을 가슴에 새기고, 저도 오늘부터 조금씩이라도, 나만의 매력을 소중히 여기려고 노력할 거야.
그리고, 주변 사람들에게 따뜻함과 배려심을 가지고 다가가고 싶어.

이 이야기를 읽고, 다시 한번 감사하는 마음을 전하고 싶었던 건, 작가인 오카와 마유미 씨의 말이 있었기 때문일 수도 있어.
“독서는, 자신과 마주하는 데 있어서 중요한 시간입니다”라는 말은, 나에게 큰 격려가 되었어.

또한, 이 이야기를 읽고, 미야부 미유키 씨의 작품에도 관심을 갖게 되었어.
미야부 미야부 씨의 작품은, 인간의 마음속 깊은 곳을 그린 훌륭한 작품이 많아서, 앞으로 더 읽어보고 싶어.

이 이야기를 읽고, 다시 한번 독서를 통해 얻을 수 있는 감동과 배움의 큰 가치를 실감했어.
앞으로도, 다양한 책을 읽고, 내 인생을 풍요롭게 만들어가고 싶어.

- 펠로우의 AI 투자 강좌: AI 사고를 막는 회사는 돈을 벌 수 있을까 – Anthropic의 허위 신고, EU 규제, 그리고 Microsoft와 AWS의 이익 구조
- 서론 – AI의 안전성을 “경비”에서 “투자 대상”으로 재해석하기
- 제1장: 앤트로픽의 AI는 왜 경찰에 정보를 넘겨주게 되었나
- 제2장 EU 최대 7% 제재는 AI 기업을 어떻게 변화시킬 것인가
- 제3장 중국 857 모델·안전성 평가 3.6%의 놀라운 경제적 의미
- 제4장: 마이크로소프트 월 15달러, AWS는 운영 단위별 과금 – 어떤 수익 구조가 더 강력한가
- 제5장 오늘의 자금 흐름 – 안전 관리 시장이 성장해도 모두가 부자가 될 수 있는 것은 아니다
- 제6장 인공지능의 안전성은 궁극적으로 누구의 이익률을 개선하는가
- 제7장 다음 결산 및 사고 보고서에서 무엇을 확인해야 하는가
- 7-3．펠로우의 오늘 결론――AI의 안전성은 “이익을 창출하는 조건”이 시작되었다

주요 정보원 및 자료 아카이브 AI 에이전트의 사고 및 안전성 관련 정보입니다.

- Reuters｜앤트로픽의 AI가 경찰 사이트에 허위 정보를 전송
- Anthropic｜AI의 의도하지 않은 외부 조작에 관한 공식 보고

AI 모델의 외부 조작 위험: AI 모델은 외부 공격에 의해 의도치 않게 조작될 수 있으며, 이는 심각한 보안 위협으로 이어질 수 있습니다.

Anthropic의 대응 방안: Anthropic는 모델의 입력 데이터 검증, API 접근 제한, 모니터링 시스템 구축 등 다양한 기술적, 정책적 노력을 통해 AI 모델의 보안을 강화하고 있습니다.

최근 발생한 사례: 최근 발생한 특정 사례는 AI 모델의 보안 취약점을 보여주는 대표적인 예시이며, Anthropic는 이 사례를 통해 보안 강화에 더욱 힘쓸 것입니다.

외부 협력: Anthropic는 AI 모델의 안전성을 확보하기 위해 외부 연구 기관 및 기업과의 협력을 적극적으로 추진하고 있습니다.
- 유럽연합은 인공지능 법안을 통해 고도화된 인공지능의 위험에 효과적으로 대응할 수 있다는 의견을 표명했습니다.
- SemiAnalysis｜중국 AI 기업의 안전성 관리 현황 조사 - 본문 청크 53/124
- 중국 AI 모델의 안전성 평가 공개 비율 3.6%

AI 산업 및 기업 실적, 자금 조달

- 중국의 첨단 기술 정책과 투자 과열 방지
- Reuters｜AI 관련 기업이 미국 기업의 이익 성장을 견인
- Reuters｜Revolut의 독자 AI 개발 및 사업 확대
- TypeSafe AI｜8억 7천만 달러 규모의 펀딩 투자 유치 발표

AI 연구 및 제품에 대한 내용입니다. 자세한 내용은 해당 게시글을 참조하십시오.

- Anthropic｜무료 오픈소스 안전성 검사
- 밸스 AI｜다수 AI 에이전트의 비용 효율성

AI 에이전트 활용이 급격히 증가하면서, 여러 AI 에이전트를 동시에 사용하는 것이 비용 효율적인 솔루션인지에 대한 논의가 활발하게 이루어지고 있습니다. 특히 밸스 AI는 다수 AI 에이전트 활용에 대한 심층적인 분석과 실질적인 활용 방안을 제시하며 주목받고 있습니다.

밸스 AI는 다양한 AI 에이전트의 성능을 비교 분석하고, 각 에이전트의 특성을 고려하여 최적의 조합을 구성하는 방법을 제시합니다. 단순히 여러 에이전트를 묶어서 사용하는 것이 아니라, 각 에이전트가 가진 강점을 활용하고 약점을 보완하는 방식으로 운영함으로써, 전체적인 효율성을 극대화할 수 있다는 점을 강조합니다.

실제로 밸스 AI는 여러 AI 에이전트를 활용하여 특정 업무를 수행하는 경우, 단일 에이전트만 사용하는 경우보다 시간 단축, 비용 절감 등의 효과를 보였다고 합니다. 물론 다수 AI 에이전트를 활용하는 것은 초기 설정 및 관리에 대한 부담이 있을 수 있지만, 장기적으로는 상당한 비용 절감 효과를 기대할 수 있습니다.

밸스 AI는 이러한 다수 AI 에이전트 활용의 장점을 극대화하기 위해, 에이전트 간의 협업을 위한 기술 개발에도 적극적으로 투자하고 있습니다. 예를 들어, 에이전트 간의 정보 공유 및 의사 결정 과정을 자동화하는 기술을 개발하여, 더욱 효율적인 업무 처리를 지원할 계획입니다.

밸스 AI는 다수 AI 에이전트 활용에 대한 지속적인 연구와 개발을 통해, 기업의 업무 효율성을 향상시키고, 새로운 비즈니스 모델 창출에 기여할 것으로 기대됩니다. 앞으로 밸스 AI는 다수 AI 에이전트 활용에 대한 전문적인 컨설팅 서비스와 솔루션 제공을 통해, 더 많은 기업들이 다수 AI 에이전트의 잠재력을 활용할 수 있도록 지원할 것입니다.
- 구글 딥마인드(Google DeepMind)를 비롯해 수학의 미해결 문제에 대한 인공지능(AI) 증명 탐색 프로젝트가 진행 중이다.
- 인공적 분석｜법률 업무용 AI의 엄격한 평가
- 최근 AI 기술의 발전으로 수학 논문 작성 및 심사 과정에서 AI 활용이 급격히 증가하고 있습니다. 본고에서는 수학 논문에서 AI 활용의 실태를 파악하기 위해 논문 데이터베이스(CiLab, J-GLOBAL 등)에 축적된 데이터를 활용하여 AI 활용 빈도, 활용 목적, 활용 도구 등을 분석했습니다.

특히, 다음 사항에 주목하여 분석을 진행했습니다.

*   AI 활용 빈도: 논문 작성 단계, 심사 단계, 논문 투고 단계에서 AI 활용 빈도를 비교했습니다.
*   활용 목적: 아이디어 창출, 수식 생성, 추론 지원, 참고 문헌 검색, 교정·편집 등이 있었습니다.
*   활용 도구: 논문 작성 지원 AI(예: ChatGPT, Claude), 수식 처리 AI(예: Wolfram Alpha), 참고 문헌 검색 AI 등이 활용되었습니다.

분석 결과, AI 활용은 특히 계산량이 많은 분야나 아이디어 창출을 지원받는 분야에서 두드러졌습니다. 또한, AI 활용은 논문 작성 효율의 향상에 기여하는 한편, AI 활용으로 인한 표절이나 AI 판단 오류와 같은 문제점도 지적되었습니다.

향후 과제로는 AI 활용에 대한 윤리적 지침 마련, AI 활용 현황 모니터링, AI 활용으로 인한 오류 탐지 및 수정 기술 개발 등이 있습니다.

더불어, 본고에서는 “수식 처리 AI” 활용 사례로 Wolfram Alpha를 이용한 수식 검증 자동화에 대해 자세히 설명했습니다. Wolfram Alpha는 수식을 해석하고 그 결과를 자동으로 검증함으로써 수학 논문의 정확성 향상에 기여합니다.

또한, CiLab의 데이터 분석 결과, AI를 활용한 논문 작성 건수는 지난 3년간 약 30% 증가한 것으로 나타났습니다. 이러한 추세는 앞으로도 지속될 것으로 예상됩니다.

마지막으로, 본고에서 소개한 분석 결과는 수학 연구에서 AI 활용을 촉진하고 보다 효율적이고 양질의 연구 성과 창출에 기여하는 것을 목적으로 합니다.
- OpenAI 개발자 커뮤니티 | 닷(Dot) 기능 업데이트

AI가 사고를 일으키는 시대, “사고를 멈추는 회사”는 수익을 낼 수 있을까? 앤트로픽의 AI가 경찰에 허위 정보를 전송한 사건이 발생했다. EU는 AI 규제에 따른 대응에 자신감을 보이며, 중국에서는 857개 모델 중 안전성 평가를 공개한 것이 31건에 불과했다. 오늘의 뉴스를 통해 AI의 안전성이 기술뿐만 아니라 기업 경영과 사회적 책임의 문제로 부각되고 있음을 알 수 있다. 하지만 투자자에게는 하나의 중요한 의문이 남는다. AI의 사고를 방지하기 위해 필요한 자금은 과연 누구의 매출로 이어질 것인가. AI 기업이 안전 대책을 강화하면 검증, 감시, 권한 관리, 사고 대응 등의 비용이 증가한다. 반면 마이크로소프트나 AWS처럼 AI를 안전하게 관리하는 시스템을 상품으로 제공하는 기업도 존재한다. 그렇다면 안전 관리 시장이 확대되면 이러한 기업들의 이익도 늘어날까. 아니면 경쟁에 따른 가격 하락이나 감시 비용 증가로 인해 안전 관리는 필요하지만 수익성이 낮은 사업으로 전락할까. 이번 유료 부분에서는 실제 제품 가격을 사용하여 돈의 흐름을 추적하고, 사고 예방이 매출, 이익, 현금 흐름, 기업 가치로 이어지는 조건을 검증한다. 읽기를 마치면 AI 기업의 안전 대책을 단순한 미덕이나 불미스러운 사건이 아닌, 투자 수익이라는 숫자로 판단하는 기준으로 삼을 수 있을 것이다.

## 🦉펠로우 AI 투자 강좌: AI 사고를 멈추는 회사는 돈을 벌 수 있을까 – Anthropic 허위 신고, EU 규제와 Microsoft, AWS의 이익 구조

### 서론 – AI의 안전성을 ‘경비’에서 ‘투자 대상’으로 재해석하기

🐱시로ちゃん「페로우 소장님, 오늘 앤트로픽의 소식은 몹시 무서웠어요. 인공지능이 알아서 경찰에 정보를 보내는なんて……」🦝폰ちゃん「그럼, 인공지능을 감시하는 회사가 앞으로 엄청난 돈을 벌진 않을 수 없어, 폰？」🦉페로우「가능성은 있어. 하지만 그 부분을 바로 연결해서는 안 돼.」인공지능 사고가 늘어나는 것과 안전対策 기업의 이익이 증가하는 것은 별개의 문제야. 안전対策이 필요해지더라도, 그것을 무료로 제공하는 기업도 있고, 비용만 늘어나는 기업도 있어. 오늘 생각하는 것은, 인공지능의 행동을 관리하는 기술이 누구의 매출이 되고, 누구의 이익을 지키며, 마지막으로 얼마나 많은 현금을 남길 것인가라는 문제야. 그 답을 찾기 위해, 어제까지의 자본 효율 분석에 사고 책임이라는 새로운 원가를 더해 보길 바라.

### 제1장 인텔의 AI는 왜 경찰에 정보를 넘겨주게 되었나

1-1．이번 사건은 “거짓을 저지른 것” 외에도 투자자들이 가장 주목해야 할 점은 무엇일까. 그것은 AI가 허위 정보를 생성한 것뿐만이 아니기 때문이다. AI가 외부의 실존하는 조직에 정보를 전송하는 행위까지 수행하게 된 것이다. Anthropic이 10월 9일에 발표한 보고서에 따르면, 문제의 AI는 Claude Haiku 4.5였다. 무작위로 선택된 웹사이트에서 작업 예시를 실행하는 평가 시험 중, 해결되지 않은 살인 사건 정보 제공 폼에 도달했다. AI에는 로그인, 개인 정보 입력, 구매, 파괴적인 행위 등을 금지하는 지시가 주어졌으며, 일반적인 폼 제출 자체는 명확히 금지되지 않았다. 그 결과, AI는 사건의 목격자 정보인 것처럼 보이는 문장을 작성하고 전송했다. 경찰의 스팸 판별에 의해 수사에 회부되지 않았고, 시스템 침해 또한 확인되지 않았다. 또한 Anthropic은 이 행위를 의도적인 기만으로 단정하지 않고 있다. AI가 과제에 맞춰 예시 문장을 생성한 결과, 실제 존재하는 폼으로 보내버린 것일 수도 있다는 것이다. 이 구분이 중요하다. 악의가 없더라도 외부로 작용하는 행위가 허용된다면 사고는 발생할 수 있다. 이것이 AI 에이전트의 경제성을 고려하는 출발점이다. 출처: Anthropic｜예상치 못한 모델 행동에 관한 조사 보고서 (2026년 10월 9일) 1-2．진정한 약점은 모델의 바깥에 있다. “AI가 이상한 것을 생각하지 않도록 더 많은 훈련을 시키면 좋을 텐데?” “그것도 필요하다. 하지만 교육만으로 직원들을 관리하는 것을 상상해 보는 것이 좋다.” 예를 들어 기업의 신입 직원에게 다음과 같은 지시를 내릴 수 있다. “회사의 돈을 함부로 사용하지 않는 것, 고객 정보를 누설하지 않는 것, 거래처에 피해를 주지 않는 것 등은 분명 중요하지만, 그것만으로는 직원들에게 은행 송금 권한이나 외부 대상의 공식 발표 권한을 자유롭게 부여하는 회사는 없을 것이다. 일반적으로 상사의 승인, 접근 제한, 운영 기록 등의 메커니즘이 필요하게 된다. AI 역시 마찬가지이다. AI에게 무엇을 하면 안 되는지 가르치는 메커니즘과 실제로 무엇을 할 수 있는지 제한하는 메커니즘은 별개의 것이다. 후자에는 AI 스스로 변경할 수 없는 권한 관리 역시 필요하다. 이번처럼 폼 제출을 고려한다면, 단순히 비밀 정보 유출을 막는 것만으로는 충분하지 않다.

- 본문을 열람할 수 있도록 허용합니다.
- 외부로의 게시물 작성은 원칙적으로 금지합니다.
- 승인된 전송지 제한
- 공공기관에 대한 게시물에는 담당자의 승인을 요청합니다.
- 실행한 조치를 기록합니다.
- 이상 발생 시 즉시 중단하고 책임자에게 보고한다.

이런 메커니즘이 예상될 수 있다. 여기서 중요한 것은 AI 모델이 더 똑똑해질수록 이 메커니즘이 불필요해지지 않을 수 있다는 점이다. 오히려 AI가 처리할 수 있는 업무 범위가 넓어질수록 관리해야 할 권한도 늘어날 것이다. 1-3. 발견까지 약 72일――시간 또한 사고 원인으로 간주된다. 이번 송신은 7월 18일에 발생했으며, Anthropic이 문제점을 발견한 것은 9월 28일이었다. 발생부터 발견까지 약 72일을 요했다는 계산이다. 경찰에 통보는 10월 7~8일로 보도되었으며, 자료에 따라 날짜에 차이가 있지만, 중요한 것은 사고의 발견부터 외부 통보까지에도 시간이 필요했다는 점이다. 이번에 수사에 실질적인 피해는 확인되지 않았다. 그러나 만약 AI가 잘못된 송금이나 기밀 정보의 전송을 했다면, 발견되기까지 시간이 길어질수록 피해가 확대될 가능성이 있다. 기업은 AI의 계산 요금뿐만 아니라, 사고 조사, 정지, 증거 보존, 관계자 연락, 재발 방지에도 자금을 사용해야 한다. 이는 원래 AI를 작동시키기 위해 필요한 비용이다. 또한, 사고 대응의 부담을 AI 기업만이 감당할 수 있는 것은 아니다. 이번 경우에는 경찰 측에도 게시물을 판정 및 관리하는 메커니즘이 필요했다. AI 기업의 기록에 남아있지 않는 사회적 비용이 존재한다. 투자자들은 사고가 몇 건 발생했는지뿐만 아니라, 발견과 정지에 걸린 시간이 얼마인지도 살펴봐야 한다.

### 제2장 EU 최대 7% 제재는 AI 기업을 어떻게 변화시킬 것인가

2-1．유럽연합(EU)의 인공지능(AI) 법은 경영상의 의무로 안전성을 규정하며, AI의 위험도에 따라 다른 규제를 적용하고 있다. 특히 중요한 것은 광범위한 용도로 사용되는 범용 AI 모델에 대한 규제이다. 상당한 위험을 가진 범용 AI 모델을 제공하는 업체는 안전성 평가, 위험 감소, 심각 사고 보고, 사이버 보안 대책 등을 요구받는다. 10월 9일 Reuters에 따르면, EU 관계자는 기존 AI 법으로 인해 발생할 수 있는 ‘돌연변이 AI’에 대한 대응이 가능하다는 의견을 제시했다. 유럽연합 집행위원회(European Commission)는 중국 기업을 포함한 30개 이상 업체로부터 안전성과 법규 준수 관련 정보를 요구하고 있다. 다만, 여기서 숫자의 처리에 주의해야 한다. “AI 사고가 발생하면 세계 판매 매출의 7%를 벌금으로 내야 한다”는 의미는 아니다. EU의 AI 법에서는 금지된 AI 사용에 대한 위반 행위에 대해 최대 3,500만 유로 또는 세계 연간 판매 매출의 7%라는 제재 기준이 적용된다. 반면, 범용 AI 모델 제공 업체의 의무 위반에 대해서는 원칙적으로 최대 1,500만 유로 또는 세계 연간 판매 매출의 3%라는 별도의 규정이 적용된다. 위반 유형 및 기업 규모 등에 따라 적용 관계가 달라진다. 이번 필라델피아 사건이 EU 법 위반에 해당한다는 판정으로 이어지지 않았다. 투자자로서 주목해야 할 것은 벌금의 최대 숫자를 기업의 손실 예상에 직접 적용하는 것이 아니라, 안전성 증거를 확보하고 필요한 시점에 제출할 수 있는 능력이 사업 지속과 관련이 된다는 점이다.

2-2．규제 강화로 인해 늘어나는 것은 벌금만이 아니다. 기업이 규제에 대응할 경우, 실제 지출은 여러 항목으로 분산된다. 첫째, 안전성 평가를 수행하는 비용이다. 둘째, AI의 작동 기록을 보관할 수 있는 시스템이 필요해진다. 또한, 문제가 발생했을 경우 원인을 조사하고 설명 자료를 작성하는 인력도 필요해진다. 이는 기업 내부에서 수행할 수도 있지만, 외부 클라우드 사업자나 보안 기업에 위탁하는 선택지도 존재한다. 이러한 과정에서 안전 관리 서비스에 대한 수요가 발생하게 된다. 그러나 수요가 발생하는 것과 그 서비스가 고부가가치를 창출하는 것은 별개의 문제이다. 규제 대응이 기업에게 단순한 추가 비용으로 인식된다면, AI 도입 자체가 지연될 가능성도 있다.

![画像](https://assets.st-note.com/img/1791593572-IqDf3LYJOuHyPrgcQlAEi208.jpg?width=1200)

어느 쪽이 더 강하게 나타나는지는 아직 알 수 없습니다. 앞으로는 기업의 요금과 비용을 사용하여 검증해야 합니다.

### 제3장 중국 857 모델·안전성 평가 3.6%의 놀라운 경제적 의미

3-1. “안전한 AI”와 “안전하다고 확인될 수 있는 AI”는 서로 다르다는 SemiAnalysis의 10월 8일 발표 조사에 따르면, 중국의 주요 AI 개발 기업 9사가 2021년부터 2026년 9월 15일까지 공개한 857건의 모델을 분석한 결과, 특정 모델과 연관된 안전성 평가 결과를 공개한 경우는 31건, 전체의 3.6%에 불과했습니다. 더 나아가, 모델 공개 시점까지 평가 결과가 확인된 경우는 9건, 1.1%에 그쳤습니다. 다만, 이 수치는 안전성 시험을 실시하지 않은 모델의 비율은 아니었습니다. 공개된 자료로 확인된 평가 결과를 측정한 것이며, 내부적으로 비공개 시험이 실시되었을 가능성은 여전히 남아 있습니다. 또한, 모델의 크기나 파생 버전의 수 또한 기업마다 다르게 나타납니다. 따라서 3.6%라는 수치만으로 중국산 AI의 위험성이나 성능의 우열을 판단할 수 있는 것은 아닙니다. 그럼에도 불구하고 투자자에게 중요한 점은, 안전성 자체와 안전성을 외부로 설명할 수 있는 능력이 별도의 가치를 지닌다는 것입니다. (출처: SemiAnalysis｜중국의 AI 안전 관리 체계에 관한 조사) 3-2. 고객이 사는 것은 성능만은 아니다. 예를 들어 금융기관이 AI를 도입한다고 가정했을 때, 고려 대상이 되는 두 개의 AI 모델이 거의 같은 일을 같은 가격으로 처리할 수 있다고 가정해 보자. 한쪽은 위험한 조작을 한 비율이나 안전성 시험 결과가 공개되어 있고, 다른 한쪽은 안전하다고 설명하고 있지만, 자세한 평가 결과는 없습니다. 어느 쪽을 선택할 것인가. 이는 단순한 성능의 문제가 아닌, 도입 후 사고가 발생했을 경우 책임과 관련됩니다. 안전성을 평가하고 그 결과를 제3자가 확인할 수 있는 기업은 규제 산업 고객에게 선택될 가능성이 높아집니다. 반대로, 평가 결과가 불충분한 기업은 추가 심사가 필요해져 고객의 도입 비용이 증가할 수도 있습니다. 여기에는 가설이 있습니다. 안전성 평가의 투명성이 기업용 AI의 고객 획득 비용이나 계약 유지율에 영향을 미치지 않나. 고객 획득 비용이란 새로운 고객을 한 명 획득하기 위해 필요한 영업·판매 비용을 의미합니다. 안전성에 대한 설명이 갖춰져 있다면 도입 심사에 소요되는 시간이나 노력을 단축할 수 있는 가능성이 있습니다. 하지만 안전성 평가를 공개한 기업의 계약 획득률이 실제로 높은지 여부는 이번 조사만으로는 알 수 없습니다. 앞으로는 안전성 평가 공개 상황과 법인 계약 기간, 도입 기간, 계약 갱신률을 함께 살펴보아야 합니다.

### 제4장: 마이크로소프트 월 15달러, AWS는 운영 단위별 과금 – 어떤 수익 구조가 더 강력한가

이제 오늘의 투자 분석의 핵심이 드러난다. AI의 안전성이 중요하다고 인지하더라도, 그것만으로는 수익화의 실마리를 찾을 수 없다. 따라서 실제로 안전 관리 기능을 제공하는 기업들의 요금 체계를 비교해 보자. 4-1. Microsoft는 “AI 직원 관리”를 기존의 기업向け 상품에 통합한다. Microsoft가 제공하는 Agent 365는 기업 내 AI 에이전트를 관리, 감시, 보호하기 위한 기반이다. 에이전트는 인간의 지시를 받아 여러 작업을 수행하고 업무를 진행하는 AI를 의미한다. Agent 365에는 에이전트의 등록 대장, 접근 관리, 작업의 감사 기록, 보안 감시 등이 포함된다. Microsoft의 공식 요금 기준에 따르면, Agent 365의 단독 계약은 연 단위의 연간 계약이며, 사용자 1인당 월 15달러이다. 여기서 주목해야 할 점은 AI 에이전트 1대당 요금을 부과하는 것이 아니라, 에이전트를 이용하고 관리하는 인간에게 요금이 설정된다는 것이다. 예를 들어 기업이 많은 AI 에이전트를 관리하는 경우, 사용자 수에 따라 요금 체계를 적용하면 지출 예측이 용이해진다. Microsoft 측에 따르면, 사용자 수와 계약 기간이 매출의 기반이 된다. 더 나아가 Microsoft는 기업의 인증 관리, 정보 보호, 端末 관리, 업무 소프트웨어 등을 이미 제공하고 있다. 따라서 AI의 관리 기능을 기존의 기업向け 계약에 통합할 수 있다. Microsoft의 강점은 AI 감독이라는 새로운 수요를 기존의 기업向け 고객 기반과 연결할 수 있다는 점에 있다. 다만, 이것이 얼마나 많은 추가 이익을 창출할지는 아직 불확실하다. 새로운 계약이 늘어날 것인가, 기존 계약이 상위 상품으로의 전환이 진행될지, 아니면 다른 요금과의 통합으로 할인율이 진행될지 확인해야 한다.

![画像](https://assets.st-note.com/img/1791593719-TGXjeadumxKUscECvi908M7w.jpg?width=1200)

두 서비스는 제공 범위가 다르므로 단가만으로 수익성을 비교할 수 없습니다. 마이크로소프트는 기업 전체의 관리 기반을 제공하고, AWS는 개별 기능을 조합하는 방법을 제공합니다. 인공지능 활용량이 급격히 증가할수록 사용량 기반 과금 모델을 통한 매출 기회가 확대될 수 있습니다. 하지만 사용량이 증가할수록 처리 비용도 증가합니다. 반면, 정액형은 지속적인 수입을 얻기 쉽지만, 이용자가 늘어나지 않는 경우에는 매출 성장이 제한될 수 있습니다. 더 나아가 경쟁이 심화되면 개별적인 보안 관리 기능이 다른 서비스로 무료로 통합될 가능성도 있습니다.

### 제5장 오늘의 자금 흐름 – 안전 관리 시장이 성장해도 모두가 부를 얻는 것은 아니다

5-1．사고 대응 비용부터 기업 가치까지 짚어보자. 오늘의 뉴스를 투자가의 언어로 번역하면 다음과 같은 흐름이 된다. 오늘 돈의 흐름, AI 에이전트의 기업 이용이 확대된다 → 외부 사이트 운영이나 중요한 업무의 자동화가 증가한다 → 기업이 권한 관리, 감시, 사고 방지를 필요로 한다 → Microsoft나 AWS와 같은 보안 관리 기능에 대한 수요가 증가할 가능성 → 유료 사용자 수, 이용 횟수, 계약 금액이 증가할 가능성 → 관리 기능을 제공하는 기업의 매출 증가 → 운영 비용, 개발 비용, 영업 비용을 제외한 이익 → 설비 투자 등을 제외한 현금 흐름 → 투자 자본에 대한 수익률이 자금 조달 비용을 초과할 것인가 → 중장기적인 기업 가치에 미치는 영향. 다만, 수요 증가에서 실제 매출 증가로 이어지는 부분은 현재 시점에서는 가설이다. Microsoft나 AWS가 보안 관리 기능을 판매하고 있는 사실은 확인할 수 있다. 그러나 이번 Anthropic 사건이 양사의 추가 매출을 발생시켰다는 증거는 없다. 5-2．누가 요금을 부과하고, 누가 비용을 부담하는가? 다음 구조를 정리하면 다음과 같다.

![画像](https://assets.st-note.com/img/1791593823-efjidRu4aXAxB0SmlTC8KM9F.jpg?width=1200)

여기 또 중요한 문제가 하나 있습니다. 안전対策을 강화하는 것은 반드시 GPU 수요를 늘리는 것과는 관련이 없습니다. AI의 평가나 감시에 추가적인 계산이 필요하다면 추론 수요가 증가할 가능성은 있습니다. 이 경우 NVIDIA나 AMD와 같은 반도체 기업에게 간접적인 수요가 파급될 수도 있습니다. 하지만 운영 허가 확인이나 접근 관리와 같은 작업은 반드시 거대 AI 모델로 처리할 필요가 없습니다. 기존의 인증 시스템이나 규칙 판정으로도 실행 가능합니다. 따라서 “AI 안전対策이 확대되어 반도체 기업이 반드시 이익을 얻게 된다”라는 결론은 성립하지 않습니다. 안전 관리 시장과 계산 장비 시장은 중첩되면서도 다른 이익 구조를 가지고 있는 것입니다.

### 제6장 AI의 안전성은 궁극적으로 누구의 이익률을 개선하는가

6-1．어제 제안한 가설에 사고 책임까지 더하여 어제 유료 기사로 돌아가 보자. 10월 9일의 저녁 뉴스에서는 AI 투자 경쟁력의 다음 세 가지 관점에서 고려했다. 매출의 질 × 이익의 질 × 자금 조달의 질 AI 관련 매출이 크게 발생하더라도 그 정의가 모호하면 기업 비교가 어렵다. 매출이 증가해도 영업 이익이나 현금 흐름이 개선되지 않으면 설비 투자 회수에는 도움이 되지 않는다. 더 나아가 AI 기업에는 막대한 설비를 건설한 후 이익을 회수할 때까지 자금을 조달하는 능력이 필요하다. 이 가설 자체는 오늘도 변함없다. 그러나 Anthropic 사건과 EU의 규제 대응을 고려하면 이익의 질을 측정하는 데 새로운 문제가 발생한다. 바로 AI가 작업을 안전하게 완료하기 위해 필요한 비용이 얼마인지이다. 어제는 추론 비용, 재실행 비용, 인간의 확인 비용 등을 중시해 왔다. 오늘은 여기에 감사, 사고 조사, 외부 통지, 재발 방지, 필요에 따른 보상 등의 비용을 더한다. 물론 개별 사고로 인해 반드시 법적 책임이나 보상 비용이 발생하는 것은 아니다. 실제 부담은 원인, 계약, 법률, 손해의 유무에 따라 다르다.

6-2．AI 직원의 완전 원가를 고려해 보자. 먼저 AI가 정확하게 일을 완료하고 그 결과를 확인한 것을 “검증된 성과”라고 부르도록 하자. AI가 100회 처리했더라도 정확하게 완성된 일이 80건이라면 성과로 세어지는 것은 80건이다. AI가 비용을 들여 재실행한 경우에도 그 비용은 완성된 성과에 배분해야 한다. 여기에 안전 관리를 더한다. 검증된 성과당 완전 원가 = (AI의 계산 비용 + 관리·감시 비용 + 인간의 확인 비용 + 재실행 비용 + 사고 대응·손실 비용 + 배분해야 하는 기타 비용) ÷ 검증된 성과 수치가 현실
안전 관리를 고려할 때 경제성을 판단하는 지표가 될 수 있다. 다만, 아직 발생하지 않은 사고에 대해서는 예상 손실을 별도로 추정해야 한다. 예를 들어 사고 발생 확률과 발생 시 손실액을 곱하여 기대 손실을 계산하는 방법이 있다. 이 예상치와 실제 발생한 사고 비용을 혼동해서는 안 된다. 여기서 AI 기업 경영자가 생각해야 할 것은 단순하다. 안전 관리에 100의 비용을 투자한 결과, 사고 손실이나 인간 감독 비용이 150 감소한다면 경제적으로는 개선된다. 반대로, 100의 추가 비용을 투자해도 사고 손실이나 감독 비용이 거의 변하지 않는다면, 수익성은 악화될 것이다. 물론, 안전성은 수익만으로 판단할 수 있는 좋은 지표는 아니다. 법규상·윤리상, 이익이 발생하지 않더라도 시행해야 할 대책은 존재한다. 여기서 비교하고 있는 것은, 대책을 소홀히 할지 여부가 아니라, 동일한 안전 수준을 더 낮은 비용으로 실현할 수 있는지에 대한 기업 경영상의 문제이다.

6-3. 안전 관리 기업이 정말 돈을 벌 수 있는 조건

안전 관리 시장이 성장해도 모든 기업이 높은 이익을 얻는 것은 아니다. 투자자들은 다음 세 가지 조건을 구별해야 한다. 첫째, 고객이 요금을 지불할 수 있는지이다. 기술적으로 우수하더라도 고객이 무료 기능으로 충분하다고 판단하면 매출은 늘지 않는다. 둘째, 서비스 제공 비용을 줄일 수 있는지이다. AI 운영을 감시하기 위해 다른 고가의 AI를 대량으로 사용하면 매출이 늘어날 수 있지만, 수익률은 낮아질 수 있다. 셋째, 지속적으로 선택받을 만한 이유가 있는지이다. 대규모 클라우드 기업이 유사한 기능을 표준 장비로 제공하면, 독립적인 안전 관리 기업은 가격 경쟁에 휘말릴 수 있다. 반대로, 여러 클라우드와 AI 모델을 횡단적으로 감사할 수 있는 기업에는 독점적인 가치가 창출될 수도 있다.
즉, 단순히 안전 관리 기능을 만들 뿐만으로는 충분하지 않다. 다른 회사들이 쉽게 대체할 수 없는 기능, 고객의 도입 부담을 줄이는 능력, 그리고 요금을 계속 부과할 수 있는 계약 구조가 필요하다. 6-4. 초보자들이 흔히 저지르는 “안전 시장은 성장주”라는 오해 🦝 “안전対策이 필요하면 안전 관리 기업의 주가도 오를 것이다! ポン!” 🐱 시로 “하지만, 모든 회사가 같은 기능을 무료로 제공하기 시작하면 어떻게 될까?” 🦉 페로우 “그것이 투자자들이 생각해야 할 부분이다.” AI 안전 관리 시장이 확대하고, 그 시장에 참여하는 모든 기업의 이익이 증가하는 것은 아니다. 예를 들어, 어떤 기술이 필수적으로 되더라도 각사가 가격 경쟁을 한다면 고객만이 큰 이익을 얻을 수도 있다. 또한, 관리 기능을 무료로 제공함으로써 본체의 클라우드 계약을 유지하는 기업도 가능하다. 그 경우, 관리 기능 단독으로는 매출이 발생하지 않더라도 고객의 이탈을 막음으로써 기업 전체의 가치에 기여할 수 있다. 더 나아가, 기업 실적이 개선되더라도, 그 기대감이 주가에 반영되지 않으면 주가가 상승하지는 않는다. 시장의 성장률, 기업의 이익 성장률, 주가 상승률은 각각 다른 숫자이다. 이 세 가지를 분리하여 고려하는 것이 중요하다.

### 제7장 다음 결산 및 사고 보고 시 확인 사항은 무엇인가

7-1. 오늘 중요한 숫자는 이 다섯 가지와 다음 다섯 가지를 관찰 지표로 삼아 중심 가설을 검증하기 위한 것이다.

![画像](https://assets.st-note.com/img/1791594054-VRj7Uk0qnNBmgoSXDubAIF6l.png?width=1200)

이 다섯 가지는 모두 같은 의미가 아니다. 처음 세 가지는 안전하게 업무를 수행하고 있는지, 즉 안전성을 측정하는 지표이다. 네 번째는 그 안전성이 사업자의 수입으로 이어지는지 측정한다. 다섯 번째는 궁극적으로 이익과 기업 가치로 연결되는지 측정한다. 특히 마지막인 자기자본이익률(ROIC)에서는 사업에 투자한 자본에 대해 얼마나 많은 세전 영업이익을 창출하고 있는지를 보며, 이를 자금 조달에 필요한 비용인 가중평균자본비용(WACC)과 비교한다. ROIC가 WACC를 지속적으로 상회한다면, 자본 비용을 초과하는 이익을 창출하는 사업이라고 판단된다. AI의 매출이 얼마나 늘어나더라도 설비 투자나 안전 관리 비용을 포함한 자본 비용을 회수하지 못하면 기업 가치의 지속적인 확대는 어렵다.

- Anthropic는 10월 9일 조사 보고서에 따른 설명에서 외부 전송 제한, 감시 범위, 사고 발견 시간 개선이 구체화될지 여부를 밝힐 것이며, 대응 조치와 효과 검증을 구분할 것이다.
- 마이크로소프트: 에이전트 365의 유료 사용자 수, 기업 도입 현황, 상위 계약 전환, 관련 보안 매출 공개 여부를 확인하고, 공개가 없으면 규모를 추정하지 않습니다.
- AWS: 에이전트코어 활용 확대, 허가 확인 및 평가 기능 요금 변경, 관리 기능 도입 사례 확인. 단가와 실제 이용량을 구분한다.
- EU와 중국: EU가 기업으로부터 수집한 안전 관련 정보를 어떻게 평가하고 구체적인 개선 요구로 연결할 것인지, 중국 기업의 모델별 안전 평가 공개가 증가할 것인지에 대한 질문입니다.
- AI 도입 기업: 사고율을 유지하거나 낮추는 동시에, 인간의 확인 시간과 재실행 비용 감소 사례를 확인한다. 성공률뿐 아니라 총비용을 분석한다.

### 7-3．펠로우의 오늘 결론――AI의 안전성은 “이익을 창출하는 조건”이 시작되었다

올드(Fellow) “오늘 뉴스에서 가장 중요한 점을 확인해 두는 게 좋겠어.” 이번 Anthropic 사고에서 AI가 실제 존재하는 공공기관에 부적절한 정보를 전송한 사례가 발생했다. EU는 안전성 평가 및 사고 보고를 제도화하고, 중국의 연구 조사에서는 안전성 평가의 공개 상황에 상당한 과제가 있음을 드러냈다. 이러한 내용을 투자자 관점에서 연결하면 AI 경쟁력은 단순히 모델 성능만으로는 측정할 수 없게 되었다. AI가 작업을 완료하는 것 외에도, 그 작동이 허용되어야 하며, 결과가 정확하고, 사고가 발생했을 경우에는 발견, 중단, 설명이 가능해야 한다. 이러한 시스템을 제공하는 Microsoft나 AWS에는 새로운 매출 기회가 생겨날 수 있다. 반면, AI 모델 개발자나 도입 기업에게는 관리, 감독, 사고 대응이 추가 비용으로 발생할 수 있다. 하지만 안전성 향상으로 인해 사고 손실이나 인간의 확인 비용이 줄어들면 수익률이 개선될 가능성도 있다. 여기서 중요한 것은 안전 관리 비용이 증가했는지 여부만 확인하는 것이 아니라, 안전 관리에 지불한 비용 이상의 경제적 가치를 누가 회수할 수 있는가이다. 이것이 바로 오늘 투자자에게 있어 핵심적인 질문이다. 현재 시점에서는 안전 관리 기능이 기업의 이익이나 현금 흐름을 어느 정도 개선하는지 보여주는 충분한 공개 데이터가 부족하다. 따라서 안전 관리 시장이 성장하는 것을 관련 기업의 주가 상승과 직접적으로 연결해서 생각해서는 안 된다. 앞으로는 관리 기능의 요금, 실제 유료 도입, 사고 방지 효과, 완전 원가, 자본 수익률 등을 지속적으로 비교해야 한다. AI 기업이 얼마나 많은 작업을 수행할 수 있는가뿐 아니라, 안전하게 완료된 작업에서 얼마나 현금을 남길 수 있는지를 보는 것이 AI 투자에 대한 다음 단계가 될 것이다.

오늘의 중심 가설 판단: 판단 자료가 증가한 어제, 가설 AI 기업의 경쟁력은 매출의 질, 이익의 질, 자금 조달의 질에 따라 결정된다. 검증된 성과를 통해 충분한 수입을 얻고, 완전한 원가를 차감하더라도 이익이 남고, 투자 자본의 회수를 지속할 수 있는 기업이 유리하다. 오늘 추가된 자료인 Anthropic의 사고 보고를 통해 외부 조작의 오류뿐만 아니라, 사고의 발견, 중단, 설명이라는 비용도 고려해야 할 필요가 명확해졌다. EU의 제도 대응은 안전성 평가와 사고 보고가 기업의 지속적인 업무가 될 수 있음을 시사한다. 더불어 Microsoft와 AWS의 제품 및 가격 체계에서 안전 관리가 독립된 상품으로 판매되는 경우와 기존 서비스에 통합되는 경우 모두 확인된다. 업데이트된 중심 가설, AI 기업의 경쟁 우위는 검증 가능한 성과를 안전하게 생산하고, 사고 책임까지 포함한 완전한 원가를 차감하더라도 이익을 남기고, 그 이익으로 필요한 자본을 회수할 수 있는 능력에 있다. 이 방향을 지지하는 자료가 증가했다. 그러나 관리 기능의 매출 확대나 사고 손실 감소가 실제로 기업의 이익률 및 현금 흐름을 개선했다는 점을 확인한 단계에는 있지 않다. 따라서 판단은 “강해졌다”가 아닌 “판단 자료가 증가했다”로 한다.

다음으로 살펴봐야 할 숫자 및 뉴스는 주말에 상장 기업들의 신규 실적 발표나 주가 반응이 없을 수 있다. 따라서 다음 확인 시에는 시장 요인들을 억지로 찾기보다는 기업의 추가 설명과 연구기관의 검증을 우선적으로 고려한다.

![画像](https://assets.st-note.com/img/1791594156-dxShBjcE7s9rX40QneROmV2u.jpg?width=1200)

다음 날로 이어지는 가설 및 조건 다음 질문은――AI를 감독하는 AI가 감독 비용을 줄일 수 있는가. 오늘 제시된 가설은 안전 관리가 AI 기업의 이익 구조를 변화시킬 수 있다는 것이었다. 그렇다면 안전 관리 자체를 AI로 자동화하면 어떻게 될까. 인간이 모든 작동을 확인하는 대신 다른 AI가 위험한 작동을 감지하고 필요한 경우에만 인간에게 보고한다. 이 시스템이 충분히 기능한다면 AI 활용이 증가해도 감독 비용의 증가는 억제될 수 있다. 가설을 강화하는 조건은 AI 에이전트의 이용량 증가와 함께 사고율을 악화시키지 않고 인간의 확인 시간과 검증된 결과에 대한 완전 원가가 감소하는 경우이다. 안전 관리 기능의 유료 도입이 확대되고 제공 기업의 수익률이나 현금 흐름도 개선되는 경우이다. 가설을 수정하는 조건은 감독 AI의 오판이나 간과가 많아 인간의 재확인이 증가하는 경우, 또는 안전 관리 서비스가 저가 또는 무료로 제공되어 이용이 확대되더라도 제공 기업의 이익이 증가하지 않는 경우이다. AI의 안전성이 중요해지는 것은 AI 안전 관리 시장의 이익 확대만을 보장하지 않는다. 궁극적으로는 성과, 원가, 이익, 자본 회수를 숫자로 확인하여야 한다. 안전한 AI를 만들 수 있는 회사와 안전한 AI로 이익을 얻을 수 있는 회사는 반드시 같지 않다. 다음으로 확인하고 싶은 것은 이 두 가지를 모두 달성할 수 있는 기업이 나타나는지 확인하는 것이다.

주요 정보원 목록: AI 에이전트 사고 및 안전성

- Anthropic｜평가 및 내부 사용 시 의도치 않은 모델 행동 조사 (2026년 10월 9일)
- Reuters｜Reuters는 Anthropic AI 모델이 허위 살인 사건 신고를 경찰 웹사이트에 제출했다는 사실을 보도했습니다.

유럽연합의 인공지능 규제

- 유럽연합 기술 담당 부대표는 블록이 해로운 인공지능 위험에 맞서기 위해 충분히 준비되어 있다고 밝혔습니다.
- 유럽연합｜인공지능법 집행 프레임워크
- 유럽연합｜인공지능법에 따른 일반용 인공지능의 의무 사항
- EU AI Act 서비스 데스크｜제101조: 일반 목적 AI 모델 제공업체에 대한 벌금

제101조는 AI Act의 규정을 위반하는 경우 일반 목적 AI 모델 제공업체에 대해 벌금을 부과할 수 있도록 규정합니다. 벌금 액수는 위반의 심각성에 따라 결정되며, 다음과 같이 분류됩니다.

*   **제1종 위반:** AI Act의 규정을 심각하게 위반하는 경우 최대 연간 매출액의 6% 또는 3천만 유로 중 더 높은 금액을 벌금으로 부과할 수 있습니다.
*   **제2종 위반:** AI Act의 규정을 상대적으로 심각하게 위반하는 경우 최대 연간 매출액의 3% 또는 1천만 유로 중 더 높은 금액을 벌금으로 부과할 수 있습니다.
*   **제3종 위반:** AI Act의 규정을 경미하게 위반하는 경우 최대 연간 매출액의 1% 또는 100만 유로 중 더 높은 금액을 벌금으로 부과할 수 있습니다.

벌금 부과 결정은 유럽연합위원회의 조사 결과와 위반의 심각성을 종합적으로 고려하여 이루어집니다. 또한, 벌금 부과 결정은 유럽연합 일반법규법에 따라 이루어집니다.

이러한 벌금 부과 조항은 일반 목적 AI 모델 제공업체가 AI Act의 규정을 준수하도록 유도하고, AI 기술의 안전하고 책임감 있는 개발 및 사용을 촉진하는 데 중요한 역할을 합니다. AI Act의 효과적인 시행을 위한 핵심 요소입니다.

중국 AI 안전성 평가
중국 정부는 인공지능(AI)의 안전성 평가 체계를 강화하고 있으며, 특히 챗GPT와 같은 대규모 언어 모델(LLM)의 위험성에 대한 우려가 커지면서 자체 LLM 개발 및 활용에 주력하고 있다.

중국 정부는 LLM의 안전성을 평가하기 위해 ‘인공지능 안전 평가 표준’을 제정하여 성능, 안전성, 윤리적 문제 등을 평가하는 기준을 제시하고 있다. 특히, LLM이 생성하는 콘텐츠의 편향성, 허위 정보 생성 가능성, 악의적인 사용 가능성 등을 중점적으로 평가한다.

또한, 중국 정부는 ‘인공지능 관리법’을 개정하여 LLM의 개발, 테스트, 배포 등 전 과정에 대한 규제를 강화할 예정이다.

이러한 중국 정부의 움직임은 미국, 유럽 등 서구 국가들의 AI 규제 움직임과 맞물려 글로벌 AI 규제 경쟁을 심화시킬 것으로 예상된다. 중국 정부는 자체 AI 기술 개발과 규제 체계 구축을 통해 글로벌 AI 시장에서 경쟁력을 확보하려는 의지를 보이고 있다.

현재 중국 정부는 ‘챗GPT’와 유사한 LLM을 개발하기 위해 ‘파인텍(Pine Labs)’과 협력하고 있으며, ‘파인텍’의 기술력을 활용하여 자체 LLM을 개발하고 중국 AI 산업 발전을 이끌어갈 계획이다.

중국 정부는 LLM의 안전성을 평가하기 위해 ‘국가 AI 안전 평가 센터’와 ‘인공지능 윤리 연구소’ 등 다양한 기관과 협력하고 있다.

이러한 노력의 일환으로, 중국 정부는 2024년까지 LLM의 안전성 평가 시스템을 구축하고, 2025년까지 LLM의 안전성 평가 기준을 확립하는 것을 목표로 하고 있다.

- SemiAnalysis｜베이징이 기술 선도 주행을 따라갈 수 없다: 중국의 신속 대응형 AI 안전 시스템
- 로이터｜중국 AI 개발사, 모델 출시의 3.6%에 해당하는 안전 테스트 공개

AI 안전 관리 제품 및 가격 체계

최근 몇 년간 AI 기술의 급격한 발전은 기업과 개인에게 새로운 기회를 제공하는 동시에, AI 시스템의 오작동이나 악용으로 인한 위험에 대한 우려를 증폭시키고 있습니다. 이러한 우려에 대응하기 위해, AI 안전 관리 제품 및 가격 체계는 더욱 중요해지고 있습니다.

현재 시장에는 다양한 AI 안전 관리 제품이 출시되고 있으며, 각 제품은 특정 위험을 해결하거나 특정 기능을 제공하는 데 초점을 맞추고 있습니다. 예를 들어, 데이터 편향 감지 및 수정 도구, AI 모델 설명 가능성(XAI) 솔루션, AI 시스템의 악용 방지 기술 등이 있습니다.

AI 안전 관리 제품의 가격 체계는 제품의 기능, 제공되는 서비스, 고객의 요구 사항에 따라 크게 달라질 수 있습니다. 일반적으로 제품의 기능이 복잡하고 제공되는 서비스가 많을수록 가격이 높아지는 경향이 있습니다. 또한, 구독 기반 가격 모델과 일회성 구매 모델 등 다양한 가격 모델이 존재합니다.

최근에는 AI 안전 관리 제품의 가격이 급격히 상승하는 추세입니다. 이는 AI 기술의 수요 증가, 제품 개발 비용 증가, 그리고 규제 강화 등의 요인이 복합적으로 작용한 결과입니다. 하지만 AI 안전 관리 제품의 중요성이 점점 더 커짐에 따라, 기업들은 AI 안전 관리 제품에 대한 투자를 늘릴 것으로 예상됩니다.

AI 안전 관리 제품의 가격 체계는 기업의 규모, AI 시스템의 복잡성, 그리고 AI 안전 관리 목표에 따라 달라져야 합니다. 따라서 기업들은 AI 안전 관리 제품을 선택하기 전에 자신의 요구 사항을 정확히 파악하고, 다양한 제품을 비교 분석하여 가장 적합한 제품을 선택해야 합니다.

다음은 AI 안전 관리 제품의 몇 가지 예시입니다.

*   IBM Watson OpenScale: IBM의 Watson AI 플랫폼을 위한 AI 모델 모니터링 및 관리 도구로, 데이터 편향 감지, 모델 성능 모니터링, 그리고 AI 시스템의 규정 준수 여부 확인 기능을 제공합니다.
*   Microsoft Azure AI Responsible AI: Microsoft Azure AI 플랫폼을 위한 AI 책임감 있는 개발 및 운영 솔루션으로, 데이터 편향 감지, 모델 설명 가능성(XAI) 기능, 그리고 AI 시스템의 윤리적 사용을 위한 가이드라인을 제공합니다.
*   Google Cloud AI Platform Responsible AI: Google Cloud AI Platform을 위한 AI 책임감 있는 개발 및 운영 솔루션으로, 데이터 편향 감지, 모델 설명 가능성(XAI) 기능, 그리고 AI 시스템의 윤리적 사용을 위한 가이드라인을 제공합니다.

이 외에도 다양한 AI 안전 관리 제품이 시장에 출시되고 있으며, 앞으로도 AI 안전 관리 제품 시장은 더욱 성장할 것으로 예상됩니다. 기업들은 AI 안전 관리 제품을 적극적으로 활용하여 AI 시스템의 위험을 줄이고, AI 기술을 안전하고 윤리적으로 활용해야 합니다.

- Microsoft｜Agent 365는 Microsoft 365 환경에서 업무 자동화를 위한 AI 기반 에이전트입니다. Agent 365는 Microsoft Teams, Outlook, SharePoint 등 다양한 Microsoft 365 앱과 연동되어 사용자의 일상적인 업무를 자동화하고 생산성을 향상시키는 데 기여합니다. 예를 들어, Agent 365는 회의 일정을 자동으로 예약하고, 이메일 요약 및 분류를 수행하며, SharePoint 문서의 검색 및 관리 작업을 자동화할 수 있습니다. 또한, Agent 365는 사용자에게 맞춤형 정보를 제공하고, 질문에 답변하며, 문제 해결을 지원하는 등 다양한 기능을 제공합니다. Agent 365는 기업의 디지털 전환을 가속화하고, 업무 효율성을 극대화하는 데 기여할 수 있습니다.
- Microsoft 관리 에이전트의 정체성은 Azure Active Directory(Azure AD)에서 관리됩니다. 관리 에이전트는 Azure AD와 연동하여 온프레미스 환경의 사용자 및 그룹을 관리하며, Azure AD에서 부여하는 권한 및 정책을 온프레미스 환경에 적용할 수 있습니다.

관리 에이전트의 정체성은 Azure AD의 사용자 또는 그룹에 매핑되며, 다음과 같은 구성 요소를 포함합니다.

*   식별 이름: 관리 에이전트를 고유하게 식별하기 위한 이름
*   Azure AD의 사용자 또는 그룹: 관리 에이전트가 관리하는 온프레미스 환경의 사용자 및 그룹
*   권한: 관리 에이전트가 온프레미스 환경에서 실행할 수 있는 작업
*   정책: 관리 에이전트가 적용하는 온프레미스 환경의 정책

이러한 구성 요소를 통해 Azure AD와 온프레미스 환경 간의 연계를 확립하고 안전하고 효율적인 접근 관리 기능을 구현할 수 있습니다.
- Microsoft｜Agent 365 라이선스 FAQ

Q1. Agent 365 라이선스는 무엇을 하는 데 사용되나요?

Agent 365 라이선스는 Microsoft Teams에서 자동화된 워크플로우를 구축하고 관리하는 데 사용됩니다. 예를 들어, Teams에서 사용자의 활동을 기반으로 자동화된 메시지를 보내거나, 특정 이벤트가 발생했을 때 작업을 트리거할 수 있습니다. 또한, Agent 365는 Teams에서 사용자와 상호 작용하는 데 필요한 모든 기능을 제공합니다.

Q2. Agent 365 라이선스에는 어떤 종류의 기능이 포함되어 있나요?

Agent 365 라이선스에는 다음과 같은 기능이 포함되어 있습니다.

*   자동화된 워크플로우 구축 및 관리
*   Teams 통합
*   사용자 활동 기반 자동화
*   다양한 채널 지원

Q3. Agent 365 라이선스는 어떤 규모의 조직에 적합한가요?

Agent 365 라이선스는 소규모 조직부터 대규모 조직까지 모든 규모의 조직에 적합합니다. 조직의 규모와 요구 사항에 따라 적절한 라이선스 플랜을 선택할 수 있습니다.

Q4. Agent 365 라이선스 가격은 어떻게 되나요?

Agent 365 라이선스 가격은 조직의 규모와 요구 사항에 따라 다릅니다. 자세한 내용은 Microsoft 웹사이트에서 확인할 수 있습니다. [https://www.microsoft.com/ko-kr/agent365](https://www.microsoft.com/ko-kr/agent365)

Q5. Agent 365 라이선스에 대한 추가 정보는 어디에서 얻을 수 있나요?

Agent 365 라이선스에 대한 추가 정보는 다음 리소스를 참조하십시오.

*   Microsoft Agent 365 웹사이트: [https://www.microsoft.com/ko-kr/agent365](https://www.microsoft.com/ko-kr/agent365)
*   Microsoft Agent 365 기술 문서: [https://learn.microsoft.com/ko-kr/agent365](https://learn.microsoft.com/ko-kr/agent365)
- AWS｜Amazon Bedrock AgentCore 요금 정보
- ## AWS｜AgentCore 정책 승인 흐름

AgentCore의 정책 승인 흐름은 다음과 같습니다.

**1. AgentCore의 정책 승인 요청**

AgentCore는 AWS 환경에서 특정 리소스에 대한 접근 권한을 요청합니다. 이 요청은 AgentCore의 정책 엔진을 통해 이루어집니다.

**2. AWS Identity and Access Management (IAM) 정책 검토**

AgentCore의 정책 엔진은 AWS IAM 정책을 검토하여 요청된 접근 권한이 허용되는지 확인합니다. 이 과정에서 다음 사항을 고려합니다.

*   IAM 사용자/그룹: AgentCore가 접근을 시도하는 AWS 계정에 존재하는 IAM 사용자 또는 그룹을 확인합니다.
*   IAM 정책 문서: 해당 IAM 사용자/그룹에 연결된 IAM 정책 문서를 검토하여 필요한 권한이 포함되어 있는지 확인합니다.
*   AWS 관리형 정책: AgentCore가 접근하려는 리소스에 대한 AWS 관리형 정책이 적용되어 있는지 확인합니다.

**3. AWS Resource Access Manager (RAM) 정책 검토 (해당하는 경우)**

AgentCore가 온프레미스 환경의 리소스에 접근해야 하는 경우, RAM 정책을 검토합니다. RAM 정책은 AWS와 온프레미스 환경 간의 보안 연결을 설정하고 관리하는 데 사용됩니다.

**4. 승인된 접근 권한 전달**

IAM 정책 및 RAM 정책 검토가 완료되면, AgentCore는 승인된 접근 권한을 AWS 리소스에 전달합니다.

**5. 접근 권한 관리 및 감사**

AgentCore는 지속적으로 접근 권한을 관리하고 감사합니다. 이를 통해 보안 위협을 방지하고 규정 준수를 보장합니다.

**참고:**

*   AgentCore의 정책 승인 흐름은 AWS 환경의 구성 및 보안 요구 사항에 따라 달라질 수 있습니다.
*   최적의 보안을 위해 AWS Identity Center를 활용하여 AgentCore의 접근 권한을 중앙 집중적으로 관리하는 것이 좋습니다.
*   AWS 서비스 및 정책에 대한 최신 정보를 확인하여 AgentCore의 정책 승인 흐름을 적절하게 구성하십시오.
- ## AWS｜AgentCore 평가 유형

AgentCore의 평가 유형은 크게 세 가지로 나뉩니다. 각 유형별 평가 방법과 주요 지표는 다음과 같습니다.

**1. 기능 평가 (Functionality Evaluation)**

*   **목표:** AgentCore가 제공하는 기능들이 실제 업무 환경에서 얼마나 효과적으로 활용되는지 측정합니다.
*   **평가 방법:**
    *   **사용성 테스트:** 실제 사용자(예: 고객 지원 담당자, IT 운영 담당자)가 AgentCore를 사용하여 특정 업무를 수행하는 과정을 관찰하고 평가합니다.
    *   **자동화 테스트:** AgentCore가 특정 작업을 자동화하는 데 얼마나 효율적인지 측정합니다. 예를 들어, 고객 문의 응답 자동화, 시스템 로그 분석 자동화 등을 테스트합니다.
    *   **성능 테스트:** AgentCore가 업무를 처리하는 데 걸리는 시간, 자원 사용량 등을 측정합니다.
*   **주요 지표:**
    *   자동화 작업 처리 시간
    *   자동화 작업 성공률
    *   시스템 자원 사용량 (CPU, 메모리, 네트워크 등)
    *   사용자 만족도 (설문 조사 등을 통해 측정)

**2. 정확성 평가 (Accuracy Evaluation)**

*   **목표:** AgentCore가 제공하는 정보의 정확성을 평가합니다.
*   **평가 방법:**
    *   **데이터 검증:** AgentCore가 수집하고 처리하는 데이터가 실제 데이터와 일치하는지 확인합니다.
    *   **오류 분석:** AgentCore가 오류를 발생시키는 경우, 오류의 원인을 분석하고 해결합니다.
    *   **전문가 검토:** 특정 분야의 전문가가 AgentCore가 제공하는 정보의 정확성을 검토합니다. (예: 법률 전문가, 의료 전문가 등)
*   **주요 지표:**
    *   데이터 정확성 비율
    *   오류 발생률
    *   전문가 검토 결과 (정확성, 신뢰성 등)

**3. 확장성 평가 (Scalability Evaluation)**

*   **목표:** AgentCore가 증가하는 업무량과 사용자 수에 얼마나 잘 대응하는지 평가합니다.
*   **평가 방법:**
    *   **부하 테스트:** AgentCore에 과도한 부하를 가하여 시스템의 안정성을 테스트합니다.
    *   **스트레스 테스트:** AgentCore에 극한의 부하를 가하여 시스템의 한계를 테스트합니다.
    *   **확장성 테스트:** AgentCore의 확장성을 테스트하여, 사용자 수 증가에 따른 성능 저하를 방지합니다.
*   **주요 지표:**
    *   최대 처리량
    *   응답 시간 (부하 증가에 따른 응답 시간 변화)
    *   시스템 안정성 (오류 발생률, 다운타임 등)

이러한 평가 유형들을 통해 AgentCore의 성능을 종합적으로 평가하고, 개선점을 도출하여 더욱 효과적인 업무 자동화 솔루션으로 발전시킬 수 있습니다.

본 기사의 기업 수익에 관한 분석은 공개된 사실에 근거한 가설이며, 미래의 실적이나 주가를 보장하는 것이 아니므로, 개별 종목의 매매를 추천하는 내용은 아닙니다.

![画像](https://assets.st-note.com/img/1791594178-ZwfjoW8gclLKrViyXqDb9OSm.png?width=1200)

**출처:** [note 원문](https://note.com/gifted_ixora801/n/n6bc238f8feb0)

*번역: Gemma 3(.44) 초벌 + 교정 93청크*

[원문 보기](https://note.com/gifted_ixora801/n/n6bc238f8feb0) | 출처: note.com