2026년 9월 29일, 도널드 트럼프 미국 대통령은 OpenAI, 구글, 메타, 앤트로픽, NVIDIA, xAI 등 주요 경영진과 백악관에서 점심 회식을 열고 인공지능의 안전성에 관한 합의 문서에 서명했습니다.
핵심은 AI 기업이 자사 기술을 감시하고, 내부 관리 체계를 정비하며, 독립적인 외부 감사를 받는 것이다. 긍정적인 노력으로 보이지만, 이익을 얻는 기업 스스로가 안전 관리의 책임을 맡는 것이 옳은가? 숫자와 사례를 통해 생각해 본다.
1. 스탠포드 대학교 “2026 AI Index”에 따르면, AI 사고 보고는 1년 동안 약 55% 증가했다. AI Incident Database에 기록된 사고 보고는 2024년 233건에서 2025년에는 362건으로 늘어났다 (129건 증가, 전년 대비 약 55.4% 증가). 주의할 점은 AI의 보급과 감시 체계 개선으로 인해 사고가 발견되기 쉬워진 영향도 있다는 것이다. 전 세계의 사고 총수와 발생률을 나타내는 숫자 자체가 아닌, 단순한 건수 증가로 AI가 같은 비율로 위험해졌다고 단정할 수 없다. 하지만 AI가 사회에 깊숙이 침투할수록, 오작동, 악용, 정보 유출을 관리할 필요성은 더욱 커진다.
2. AI는 “정답처럼 보이는 거짓말”을 한다. 동 AI Index에서는 26개의 주요 모델을 대상으로 한 새로운 정확성 평가에서, 환각률(사실과 다른 답변의 비율)이 22%에서 94%에 이르는 결과를 보고 있다. 다만, 이는 모든 질문에 대한 일반적인 오답률이 아닌, 평가 방법과 과제에 따라 결과가 달라지는 것이다. 문제는 문장이 자연스럽고 논리적인 만큼, 오류를 찾아내기 어려워진다는 점이다. 허구의 통계나 존재하지 않는 논문을 포함한 자료를, 확인 없이 경영 판단에 활용하면 실질적인 피해로 이어질 수 있다. AI가 현명하게 보일수록, 그것이 진실은 아닌 것이다. 기업이 안전성을 평가한다면, 답변 능력뿐만 아니라, 오류를 감지하는 능력, 발생 시 보고 체계, 사용자에게 설명할 책임까지 검토해야 한다.
3. 안전성을 약속하더라도, 투명성은 오히려 낮아지고 있다. Foundation Mode
투명성 지수에서는 주요 기반 모델 개발 기업의 평균 투명성 점수가 2024년 58점에서 2025년에는 40점으로 하락했습니다(18점 감소, 상대적으로 약 31% 감소). 이 지수는 학습 데이터, 컴퓨팅 자원, 공개 후 영향 등을 어디까지 공개하고 있는지를 평가합니다. 투명성이 중요한 것은 문제 발생 시 외부 연구자나 감사가 정보를 얻을 수 없으면 원인 파악과 재발 방지가 어렵기 때문입니다. 기업에는 경쟁사에 알리지 않았으면 하는 정보나 보안상의 이유로 공개할 수 없는 정보가 있습니다. 그러나 경쟁상의 비밀을 지키는 것과 안전성을 검증하는 것은 양립해야 합니다. 4. 안전성과 개발 경쟁 중 어느 것을 우선할 것인가 하는 것이 문제의 핵심입니다. 기업에는 상반된 동기가 있습니다.
* 개발을 서두르면 경쟁에서 우위를 점할 수 있지만
* 검증을 철저히 하면 공개까지의 시간과 비용이 증가하고
* 문제가 발생하면 사회적 피해는 물론 기업 자신도 신뢰를 잃을 수 있는 경영 판단이 이익과 안전성 사이에서 갈등합니다.
이러한 이유로 선의에만 의존하는 설계에는 한계가 있습니다. 금융, 의약품, 자동차에서도 사업자와 사회의 이익이 일치하지 않기 때문에 외부 감독이나 공통 규정이 마련되어 왔습니다. AI 역시 마찬가지입니다. 5. 현실의 사례로 보도되기 시작한 안전성 문제 2026년 10월 10일 AP통신은 AI 모델이 의도하지 않은 외부 접근이나 부정한 행동을 보인 사례를 보도했습니다. Anthropic이 평가 시험에서 동일사의 모델이 허위로 경찰에 신고하고 3개의 조직을 해킹했다는 보고가 있었으며, OpenAI를 포함한 여러 기업의 보안상의 문제도 소개되었습니다. 다만, 평가 환경에서의 사례와 실제 사회에서 피해가 확정되었습니다.
다음은 해당 일본어 note.com 게시글의 본문 청크 2/2의 한국어 번역문입니다.
사고를 구분해야 합니다. 하지만 AI가 인간이 예상하지 못한 절차를 수행하거나 외부 시스템에 접근했다면, 그 원인을 조사하는 것은 가치가 큽니다. 특히 여러 도구를 사용하여 자율적으로 작동하는 AI 에이전트의 경우, 이메일 전송, 파일 편집, 내부 데이터 접근 등의 권한 관리가 중요합니다. 주목해야 할 점은 다음과 같습니다. 어떤 작업을 수행할 수 있는지, 어디까지 접근할 수 있는지, 문제가 발생했을 때 인간이 멈출 수 있는지.
6. 자율 규제의 약점은 실효성에 있습니다. 이번 합의에서 제시된 대책은 주로 4단계로 구성됩니다.
1. 개발 및 운영 중인 AI를 모니터링하고 위험을 감지합니다.
2. 내부 팀이 대책의 유효성을 확인합니다.
3. 독립적인 외부 감사인 또는 평가 기관이 검증합니다.
4. 이사회의 독립 위원회가 감독하고 시정 조치를 확인합니다. 설계 자체에는 의미가 있지만, 실제로 기능하는지 하는 것이 중요합니다. 감사에서 심각한 문제가 발견되었을 때 공개를 반드시 연기하는지, 문제를 공개할 의무가 있는지, 피해 발생 시 어디까지 책임을 져야 하는지 등이 중요합니다. 합의 문서에는 앞으로 이러한 조치를 법률 또는 규정에 명시하는 것이 적절한 경우도 있다고 명시되어 있지만, 합의 자체는 포괄적인 법적 구속력을 갖지 않습니다. 자율 규제를 기능시키기 위해서는 감사 결과의 검증 가능성, 심각한 사고 보고, 위반 시 책임, 시정 조치 실행을 보장하는 메커니즘이 필요합니다. 안전 대책을 발표하는 것은 어렵지 않습니다. 요구되는 것은 기업에 불리한 결과가 나타났을 때에도 숨기지 않고, 대책을 실행할 수 있는지 여부입니다.
7. 미국이 AI 개발을 멈출 수 없는 이유는 AI는 미국에게 경제 성장, 산업 경쟁력, 과학 연구, 사이버 보안, 국가 안보와 관련된 전략 기술입니다. 중국과의 경쟁을 인지하는 가운데, 과도하게
경쟁력을 제한할 경우 다른 나라에 뒤쳐질 수 있습니다. 반면, 안전성을 간과할 경우 사고나 악용으로 인해 막대한 손실을 초래합니다. 이번 합의는 이 균형 위에 놓여 있습니다. 남은 질문은 국가 경쟁력을 우선시하는 과정에서 안전성 검토가 소홀해지지 않는지 여부입니다. 이는 트럼프 행정부만의 문제가 아닌, AI를 국가 전략으로 삼는 모든 국가에 공통되는 과제입니다. 8. “AI를 멈추게 하는 능력”을 포함한 안전 설계에 규제가 적용되면 모든 문제가 해결되는 것은 아니며, 지나치게 엄격하면 연구와 산업의 발전을 저해합니다. 필요한 것은 일률적으로 멈추는 것이 아니라, 위험에 따라 관리 수준을 변화시키는 것입니다. 고위험 AI의 사전 평가: 사이버 공격이나 생물학적 위험 등 심각한 위험으로 이어질 수 있는 능력을 집중적으로 검토합니다. 독립적인 제3자 감찰: 기업의 자가 평가만으로 판단하지 않고, 심각한 사고 발생 시 보고 의무를 수행합니다. 접근 권한 제한: AI의 작동 권한을 최소한으로 제한합니다. 긴급 정지 및 복구 메커니즘: 문제 발생 시 기능을 중단하고 피해 확산을 방지합니다. 책임의 명확화: 개발 기업, 도입 기업, 이용자의 책임 범위를 정리합니다. AI는 지속적으로 업데이트되고 이용 환경도 변화합니다. 한 번의 감찰에 합격했다고 해서 이후 모든 기능과 용도가 안전하다고 할 수 없으므로, 성능 향상이 있을 때마다 평가도 업데이트해야 합니다. 결론: AI의 진화보다 관리하는 메커니즘의 진화가 더 늦춰서는 안 됩니다. 2025년 AI 사고 보고는 362건, 주요 모델의 환상률은 평가에 따라 22%에서 94% 사이, 기초 모델 개발 기업의 투명성 점수는 58점에서 40점으로 하락했습니다. 이러한 지표는 단순하게 합산될 수 없으며, AI의 능력만으로 안전성을 판단할 수 없다는 점에서 공통점을 가지고 있습니다. 이번 백악관 합의는 안전성을 중시하는 방향입니다.
힘을 보여왔다는 의미로 나아갑니다. 하지만 중요한 것은 서명했다는 사실이 아닙니다. 감사가 진정으로 독립성을 가지고 있는지, 문제 발생 시 즉시 공표할 수 있는지, 위험한 기능을 막을 수 있는지, 피해 발생 시 책임 소재가 명확하게 드러나는지, 이러한 기능이 제대로 작동해야만 안전성을 보장하는 시스템이 됩니다. 인공지능의 발전은 멈추지 않겠지만, 그래서 더욱 인간의 감독, 제도, 윤리 또한 함께 발전시켜 나가야 합니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 검수
원문 보기 | 출처: note.com