# AI 안전성에 대한 국가 간 논의가 시작됐다―핵무기의 역사를 되풀이하기 전에, 인간이 할 수 있는 일 > https://bookfactory.kr/board/ai-tech/18070 > 게시판: AI·머신러닝 > 작성자: admin > 작성일: 2026-09-22T00:39:14.212Z --- ![見出し画像](https://assets.st-note.com/production/uploads/images/315840735/rectangle_large_type_2_500643fd676a1a0a46bbf33adac8bd58.png?width=1280) 9월 13일, 나는 “AI 개발은 핵무기와 같은 길을 걷는가”라는 기사를 썼다. 전편: AI 개발은 핵무기와 같은 길을 걷는가――“만들고 나서 안전을 생각한다”로는 늦은 이유 AI 개발 경쟁은 누군가 한 명이 “위험하니까 그만하자”고 말한다고 해서 멈추지 않는다. 한편, AI가 새로운 공격 기법을 만들어내는 속도에 사회의 방어가 따라잡을 수 있을지는 장담할 수 없다. 전편에서는 이러한 문제를 살펴보았다. 그로부터 약 1주일 후, 미국과 중국 정부 고위 관리들이 AI 안전성을 협의 의제로 삼았다. 어제(2026년 9월 20일), 미국 베센트 재무장관과 중국 허리펑 부총리가 뉴욕에서 협의했다. 로이터에 따르면, 무역 및 핵심 광물과 함께 강력한 AI의 위험한 이용을 막기 위한 '가드레일'도 의제에 포함됐다.[1] 이를 보고 내가 처음 든 생각은, 대국 간에 AI의 위험이 논의된다는 사실 자체에 의미가 있다는 것이었다. 무엇이 최악의 사태인지, 그 사태를 막기 위해 무엇을 해야 하는지 하는 문제의식이 개발 기업 외부에도 공유되는 계기가 되리라고 생각한다. 실제로 이 협의 이후 일본 미디어에서도 이 주제에 대한 많은 뉴스와 대담 등을 접하게 되었다. 다만, 대화를 나눴다고 해서 진정한 의미에서 해결될 수 있을까. 양국에는 각자의 속셈이 있을 것이고, 경쟁 자체가 끝나는 것은 아니다. 참고로 미중이 AI 안전을 논의하는 것은 이번이 처음이 아니다. 2024년 5월에도 제네바에서 정부 간 대화를 진행한 바 있다.[2] 이번에는 그 대화가 고도화된 AI의 구체적인 위험을 둘러싼 협의로서 다시 주목받고 있다고 보는 것이 정확할 것이다. ### 기업 간 협의에서 국가 간 협의로 지난 몇 주만 보더라도 AI 안전을 둘러싼 움직임은 계속되고 있다. 9월 9일, OpenAI는 첨단 AI에 대한 의무적인 안전 요건과 독립 평가, 공통 기준의 필요성을 표명했다. 12일에는 Anthropic의 다리오 아모데이 CEO가 개발 속도 조절과 기업 간·국가 간 협력을 제안했다. [3][4] 15일에는 OpenAI, Anthropic, Google DeepMind의 안전 협의가 보도되었고, 18일에는 Anthropic이 Accenture와의 독립 평가 관련 제휴를 발표했다. [5][6] 이러한 움직임이 하나의 시나리오대로 진행되고 있다고까지는 말할 수 없다. 그럼에도 불구하고 개별 AI 기업이 각자 대응하는 것만으로는 부족하다는 인식이 기업 간을 넘어 국가 간으로 확산되고 있는 것처럼 보인다. 국가 간에 협의할 정도의 일인가. 어쩌면 사태는 내가 생각하는 것보다 심각할지도 모른다. 전편에서의 인식이 바뀐 것은 아니지만, 이번 뉴스를 보고 그렇게 느꼈다. ### 제3자의 폭주는 막아도, 미중 경쟁은 멈추지 않는다 나는 미국과 중국이 AI 개발에 대해 전면적으로 협력할 수 있다고 생각하지 않는다. 핵무기와 달리, AI의 위협은 "폭탄을 투하하면/투하당하면 끝"이라는 알기 쉬운 형태만은 아니다. 가령 한쪽이 개발을 멈추더라도 다른 쪽이 차세대 AI를 계속 만들어낸다면, 새로운 공격 능력에 기존의 AI 탐지 시스템이나 방어책이 대응하지 못하게 될 수도 있다. 다만 그렇다고 해서 접근 통제나 권한 분리, 취약점 수정과 같은 기본적인 대책까지 무의미해지는 것은 아니다. 사이버 공격에서는 공격 측이 하나의 돌파구만 찾아내도 피해가 발생할 수 있는 반면, 방어 측은 다양한 침입 경로에 대비해야 한다. 하지만 항상 공격 측이 유리한 것만은 아니다. 방어 측에도 기본적인 대책을 철저히 하고, 취약점이나 대응 방법을 적절히 공유함으로써 피해가 확산되기 어렵게 만드는 수단이 있다. 한편, 방어 시스템의 내부 구성이나 아직 수정되지 않은 취약점까지 밝히면 공격자에게 단서를 줄 우려가 있다. 어떤 정보는 공유하여 방어를 강화해야 하고, 어떤 정보는 지켜야 하는가. 안전을 위한 협력과 경쟁상의 비밀 유지를 어떻게 양립시킬지가 어렵다. 그렇다면, 양국이 합의할 수 있는 현실적인 타협점은 무엇일까. 내게는 갑자기 나타난 제3자가 최첨단 AI의 방어망을 뚫고 미국과 중국 양측에 큰 피해를 입히는 사태를 막기 위한 “공동전선”에 가까운 것이 될 것처럼 보인다. 9월 4일자 Reuters 보도에서도, AI를 이용한 사이버 공격의 감시와 개발 기업 간의 정보 공유가 검토 사항으로 거론되었다. 20일자 보도에서도, 악의적 비국가 행위자에게 강력한 AI가 확산되는 것을 방지하는 것이 논점이 되고 있다. [1][7] 다만, 이는 협의에서 합의가 성립되었다는 의미는 아니다. 내가 생각하는 “공동전선”도 현 시점에서는 예상에 불과하다. 서로에게 위험한 제3자에 대해서는 협력하여 대처한다. 그 한편으로, 상대를 앞지르기 위한 송곳니는 물밑에서 계속 벼린다. 그런 관계가 되지 않을까. ### AI에는 “전혀 예상치 못한 방향에서 추월당하는” 두려움이 있다 이 점은 핵무기와의 비교에서 또 하나 신경 쓰이는 부분이다. 막대한 컴퓨팅 자원과 자본이 필요한 최첨단 모델 개발이라면, 국가나 거대 기업의 투자 여력이 강하다. 미국과 중국 이외의 국가나 작은 조직이 같은 방식으로 단숨에 추월하기는 쉽지 않다고 생각한다. 하지만 AI의 발전이 반드시 같은 방식의 대형화로만 이루어지는 것은 아니다. 최근 AI 업계를 떠들썩하게 하고 있는 새로운 AI 모델 'Jev'처럼, 기존의 문장 생성과는 다른 메커니즘을 지향하는 모델도 등장하고 있다. 그 개별적인 성능 주장을 그대로 보장할 수는 없지만, 더 적은 계산 자원으로 특정 판단을 효율적으로 수행하는 등, 다른 방향에서 기술이 발전할 가능성을 염두에 둘 필요가 있다. 만약 지금과는 다른 방식의 AI가 예상외로 강력한 능력을 획득하게 되면 어떻게 될까. 현재 모델의 특성을 전제로 한 안전 대책만으로는 충분하지 않을 수도 있다. 핵무기와 같은 국가 간 협력 체계를 생각한다고 해도, AI에서는 "어떤 기술을 관리해야 안전한지" 자체가 계속 변한다. 그 점이 어렵다. ### 미중이 합의해도 개인이나 기업의 웹사이트는 보호받지 못한다 그리고 나에게 이번 이야기에서 가장 중요한 부분은 바로 여기다. 설령 미중이 일정한 안전 기준에 합의하더라도, 그것만으로 사회 전체의 안전이 확보된다고 생각하지 않는다. 전편에서도 언급했듯이, 수년 전에 만든 웹사이트를 그대로 운영하고 있는 회사가 있다. 보안 전담자가 없는 조직도 있다. AI로 공격 시도와 취약점 발견이 빨라지면, 대책이 늦은 곳부터 심각한 피해가 발생할 위험이 있다. 어느 날, 어딘가의 웹사이트가 비교적 손쉬운 공격으로 뚫리고 회사가 치명적인 타격을 입는다. 다른 곳에서도 비슷한 피해가 이어진다. 그런 시기가 찾아오는 것이 아닐까 하고 나는 우려하고 있다. 이는 장래에 대한 전망일 뿐, 이미 그 규모로 피해가 잇따르고 있다고 단정하는 이야기는 아니다. 그래서 정말 진지하게 대책을 세우려면 사회의 방어 체계 자체를 바꿔야 한다고 생각한다. 예를 들어, 웹사이트의 설정이나 취약점을 지속적으로 진단하고 개선안을 제시하며, 권한 있는 관리자의 확인을 거쳐 수정까지 진행할 수 있는 전용 AI이다. 민간이 제공하든 국가가 도입을 지원하든, 지금까지 충분한 대책을 마련할 여력이 없었던 조직도 사용할 수 있는 형태로 보급할 수 있지 않을까. 실제로 이와 가까운 방향으로 움직이기 시작한 나라가 있다. 영국 국가사이버보안센터(NCSC)는 2026년 7월에 'Cyber Shield'라는 국가 규모의 AI 방어 구상을 발표했다. AI를 활용한 취약점 발견, 위협 대응, 향후 자동 수정을 정부와 기업 등이 연계하여 추진하겠다는 것이다. [8] 영국 정부는 이에 앞선 6월, 정부 공개 코드를 첨단 AI로 조사하는 시도에서도 407건의 지적 사항을 발견했다고 보고했다. 다만 문제를 '찾는' 것과 '고치는' 것은 별개이며, 중요한 지적 사항의 확인과 수정에는 인간 전문가도 관여했다. [9] 즉, 내가 생각한 것과 같은 방어의 고속화는 이미 현실에서 추진되기 시작했다. 다만 Cyber Shield는 누구나 이용할 수 있는 웹사이트 복구 서비스가 완성되었다는 이야기가 아니다. 이러한 시스템이 대응에 여력이 없는 소규모 기업에까지 닿는 단계까지 나아가길 바란다. 물론 진단·수정 AI에 무제한 접근 권한을 부여하면 그 자체가 새로운 위험이 된다. 변경 전 확인, 영향 범위 제한, 검증과 복원 체계까지 포함해 만들어야 한다. 공격 측만 AI로 가속화되는 것이 아니라 방어 측도 마찬가지로 가속화된다. 국가 간의 규칙과는 별개로, 이러한 방향으로의 투자와 보급이 확대되기를 기대한다. ### 특이점은 이미 시작되었을까? 나는 미중의 대화만으로 AI의 리스크가 해결된다고 생각하지 않는다. 그럼에도 이번 뉴스에는 의미가 있다고 생각한다. 최악의 사태란 무엇인가. 그 사태를 피하기 위해 기업, 국가, 사회는 무엇을 바꿔야 하는가. 우선 문제의식을 공유하는 것에는 가치가 있다. 다만, 협의했다는 것과 실제로 위험을 줄였다는 것은 별개의 문제다. 위험한 능력을 어떻게 측정할 것인가. 사고를 어떻게 보고할 것인가. 경쟁자끼리 무엇을 공유할 것인가. 그리고 방어 수단을 일반 사회에 어떻게 전달할 것인가. 그 부분까지 살펴보고자 한다. AI의 등장으로 인한 싱귤래리티는 이미 도래했을지도 모른다. 물론, 기술적인 의미에서의 싱귤래리티가 달성되었다고 말하려는 것은 아니다. 산업혁명으로 사회의 구조가 크게 바뀌었던 것처럼, AI로 인해 일과 안전의 전제가 바뀌기 시작하고 있다. 그런 의미에서 나에게는 이미 변혁이 시작된 것처럼 보인다. 그렇기에 우리 한 사람 한 사람도 잘 알지는 못해도 나름대로 미래를 예측하고 대비해 나갈 필요가 있다고 생각한다. 미중이 어떤 규칙을 만들어 가는지 지켜보면서, 우리 주변의 시스템과 일하는 방식을 어떻게 지켜 나갈지도 생각해 본다. 이번 뉴스를 그런 이야기로 이어가고 싶다. ### 참고 자료 [1] Reuters(2026/9/20) 미국 재무부의 Bessent와 중국의 He, AI·무역·핵심광물 회담 개시 https://www.reuters.com/business/finance/us-treasurys-bessent-chinas-he-launch-talks-ai-trade-critical-minerals-2026-09-20/ [2] 미국 국가안보회의·2024년 5월 15일 미중 AI 대화에 대한 성명(보존본) https://www.presidency.ucsb.edu/documents/statement-nsc-spokesperson-adrienne-watson-the-us-prc-talks-ai-risk-and-safety-0 ［3］OpenAI（2026/9/9）AI 정책의 기회가 열려 있다. 지금 행동해야 한다. https://openai.com/index/ai-policy-window/ ［4］Reuters（2026/9/12）Anthropic CEO, 오용 우려 속 AI 기업들에 모델 개발 속도 조절 촉구 https://www.reuters.com/business/anthropic-ceo-urges-ai-companies-slow-model-development-2026-09-12/ [5] Reuters(2026/9/15, Bloomberg 보도 소개) OpenAI가 Anthropic, Google과 AI 안전 분야에서 협력 중 https://www.reuters.com/technology/openai-is-working-with-anthropic-google-ai-safety-bloomberg-news-reports-2026-09-15/ [6] Anthropic(2026/9/18) Accenture와의 임베디드 평가 협력 https://www.anthropic.com/news/accenture-embedded-evaluation [7] 로이터(2026/9/4) 미국·중국, 9월 중순 AI 안전 대화 준비 본격화 https://www.reuters.com/legal/litigation/us-china-gear-up-mid-september-ai-safety-dialogue-2026-09-04/ [8] 영국 NCSC(2026/7/7) 사이버 실드: 사이버 방어를 위한 에이전틱 AI 미래로 가는 길 https://www.ncsc.gov.uk/blogs/cyber-shield-the-path-to-an-agentic-ai-future-for-cyber-defence [9] 영국 정부·NCSC(2026년 6월 12일) AI가 연구실을 나올 때: 정부 사이버 방어에서의 프론티어 모델 테스트 https://www.gov.uk/government/case-studies/when-ai-leaves-the-lab-testing-frontier-models-in-government-cyber-defence **출처:** [note 원문](https://note.com/ryo_nihongo_ai/n/n7a879bffbc4d) *번역: Gemma 3(.44) 초벌 + 교정 48청크* [원문 보기](https://note.com/ryo_nihongo_ai/n/n7a879bffbc4d) | 출처: note.com