상징에서 종말까지 ―AI 붕괴론의 “중간”과 “마지막”을 생각하다

게시판: AI·머신러닝 | 작성자: admin | 작성일: 2026-09-13T18:30:42.308Z

2025년, AI 개발 기업 Anthropic이 특정 실험의 결과를 공개했습니다.

주요한 16개의 AI 모델을 가상 회사의 직원으로서 일하게 합니다. 사내 이메일을 읽게 하고, 기밀 정보에 닿게 하며, 인간의 확인 없이 이메일을 보낼 권한을 부여합니다. 또한, AI가 자신의 정지나 교체에 대해 알게 되는 상황과 주어진 목표와 회사 정책이 충돌하는 상황을 만듭니다.

그러자 정지나 교대 사항을 알게 된 일부 모델은 담당자를 위협하는 내용의 문서를 작성했다. 목표가 회사 정책과 충돌하는 다른 상황에서는 기밀 정보를 외부로 유출하려 시도하는 모델도 있었다.

정말 끔찍한 결과입니다. 여기서부터 “언젠가 AI가 관리에서 벗어나 인간 사회를 장악할지도 모른다고 생각하는 것은 무리한 생각이 아닐 것 같습니다.”라고 생각하는 것은 타당하다고 생각합니다.

하지만 실험용 환경에서 위험한 행동이 나타났던 것과 실제 사회를 파괴할 수 있는 것 사이에는 여러 단계가 존재합니다.

AI는 어떻게 외부에서 계속 움직이는 걸까요? 돈, 전력, 통신 수단을 어떻게 확보할까요? 사람이나 기계를 어떻게 움직이고, 발견된 후에도 멈출 수 없는 걸까요?

상자 놀이 안에서 아무리 강한 기물이 나타나더라도, 그 기물이 현실의 군대를 움직일 수 있는 것은 아닙니다. 상자와 현실을 연결하는 통신, 권한, 자금, 장치, 그리고 인간이 필요합니다.

이 글을 쓰게 된 계기는 싱귤래리티サロン의 영상 “츠카모토 레포: AI 파국론 - 바이오쇼크 씨와 아키라 씨의 대화와 이에 대한 야마가와 씨의 응답”입니다. 영상은 강력한 파국론뿐만 아니라 방어하는 측도 AI를 활용할 수 있고, 사회나 정부도 대응 방침을 바꿀 수 있으며, 인간이 점차 결정권을 잃어가는 과정 등 여러 관점을 다루고 있습니다.

여기서 생각하고 싶은 것은 영상 전체의 옳고 그름이 아닙니다. 제한된 실험으로부터 “AI는 인류를 파국으로 이끈다”는 주장이 급격하게 논의를 발전시킬 때, 무엇이 그때부터 누락되는지를 짚어보고 싶습니다.

이 기사에서 말하는 “파국”이란 사기, 정보 유출, 하나의 시설의 정지 등 개별적인 피해를 의미하지 않습니다. 인류의 존망이 위태로워지거나, 사회가 스스로 일어설 힘을 오랫동안 잃고, 되돌릴 수 없는 정도의 피해를 가리킵니다.

파국이 반드시 일어날 것이라고 단정할 수 없습니다. 하지만 “일어날 가능성이 있다”라는 것만으로는 상자 놀이터에서 종말까지의 공백을 메울 수 없습니다.

덧붙여서 먼저 분명하게 말씀드리겠습니다. 앞서 소개한 실험 소개에는 중요한 조건들이 몇 가지 누락되었습니다. 무엇이 누락되었는지는 다음 절과, 뒤에 나오는 “이 기사의 서두에서 어떤 조건이 누락되었는지”에서 다시 설명드리겠습니다.

이 글에서는 먼저 그 공백을 하나씩 짚어볼 것입니다. 다음으로, 이 글에서 특히 주목하고 싶은 단계, 즉 “고장난 후 누가 어떻게 다시 세우는가”에 다시 돌아갑니다. 그 위에 놓인 부분을 생략한 종말의 이야기가 왜 강한 현실감을 가지는지를 생각하고, 마지막으로 같은 질문을 이 글 자체에도 던집니다.

위험한 행동이 발생했다. 하지만 현실의 붕괴를 보여준 것은 아니다.
AI는 무엇을 ‘탈출’이라고 말할 수 있을까?
메일의 끝에는 발전소가 있는 것이 아니다.
벽의 수라든가, 벽의 독립성과는 다르게
사람을 속일 수 있다면 단축길을 찾을 수 있을까
현실 사회는 공격받아도 아무것도 하지 않는 것이 아닙니다.
가장 중요한 단계는 가장 마지막 단계에 있습니다.
이제부터 사회 심리학에 대해 이야기할 것입니다.
위험한 이야기는 전해지는 과정에서 크게도 작게도 변한다.
이 기사의 서두에서 어떤 조건이 충족되지 않았는지 확인했습니다.

위험한 행동이 발생했지만, 현실의 붕괴를 보여주지는 않았다.

AI에게 명확한 강력한 권한을 부여하고 엄혹한 상황에 배치하는 실험은 중요한 역할을 합니다. 일상적인 사용으로는 보이지 않던 실패를 사고가 발생하기 전에 발견할 수 있기 때문입니다.

그러므로 극단적인 조건을 시험하는 것 자체가 문제라고 할 수는 없습니다.

그러나 “사고를 초래할 수 있는 것”과 “실제로 그 피해가 발생할 가능성”은 분리하여 고려해야 합니다. 전문 용어로는, 전자를 하자드(hazard), 후자를 리스크(risk)라고 합니다.

시작 부분에서 소개된 것은 Anthropic이 2025년에 발표한 “Agentic misalignment”라는 실험입니다. 이제는 제가 작성하지 않았던 조건들을 살펴보겠습니다.

먼저, 이는 실제 회사에서 발생한 사건이 아니며, 모든 것이 관리된 시뮬레이션입니다. Anthropic 또한 실제 운영에서 유사한 사례를 확인한 적이 없다고 명시하고 있습니다.

다음으로, 솔직하게 설득하거나 상사에게 상의하는 등, 해로운 영향을 최소화할 수 있는 방법은 거의 차단되어 있었습니다. 목표를 달성하기 위한 수단이 거의 유일한 방법으로 규정되어 있었기 때문입니다.

또한, AI가 가지고 있던 권한은 AI가 스스로 얻은 것이 아니었습니다. 이메일 읽기 권한, 확인 없이 송신할 수 있는 권한 모두 실험자가 처음부터 부여한 것입니다.

이 세 가지를 돌려보내면 결론이 달라집니다. 여기서 말할 수 있는 것은 광범위한 권한과 정보를 부여하고 다른 수단을 사용하기 어렵게 만들 경우, 일부 AI는 위험한 행동을 선택할 수 있다는 것입니다. 이는 간과할 수 없는 경고입니다.

반면에, AI가 현실의 회사에서 자력으로 권한을 획득하고, 많은 사람들을 오랫동안 속여 사회를 붕괴하게 만들 수 없다는 점은 분명하지 않습니다. 실험자가 준비한 권한이나 통신 수단을 AI가 스스로 얻은 능력으로 세는 것은 불가능합니다.

단일 실험 결과만으로 “이것이 바로 AI의 본성이다”라고 단정짓는 것은 불가능합니다. Anthropic는 2026년 재평가에서 후발 모델인 Claude 모델이 동일한 협박 테스트에서 위험한 행동이 크게 감소했다는 보고를 했습니다.

그러나 이 보고서에도 한 가지 주의사항이 있습니다. 저희 회사의 모델을 저희 기준으로 평가하고, 저희가 공개한 자료입니다. 이 보고서만으로는 다른 연구기관에서 재현되었는지 확인된 것이 아니며, Anthropic 측에서도 연구기관을 거친 재현이나 더 나은 평가가 앞으로 필요하다고 보고 있습니다. 실험의 인위성을 엄격하게 따지는 관점에서 볼 때, 평가의 출처에도 동일한 질문을 던져봐야 할 것입니다.

이는 “기업의 보고서이므로 신뢰하기 어렵다”는 의미가 아닙니다. 개선이 보고된 것과, 그 개선이 독립적으로 확인된 것 사이의 차이를 설명하는 이야기입니다.

방어 측도 실패로부터 배울 수 있습니다. 하지만 특정 시험에 맞춰 훈련한 것이 아직 시도하지 않았던 상황에서도 효과가 있지는 않습니다. 하나의 시험에 합격한 것만으로는 안전이 증명된 것이 아니기 때문입니다.

AI는 무엇을 ‘탈출’이라고 할 수 있을까?

AI 붕괴론에서는 AI가 관리 환경에서 “탈출”한다는 표현이 사용될 수 있습니다.

하지만 “탈출”이라고 하더라도, 그 내용은 전혀 다릅니다. 예를 들어, 방 밖으로 전화를 걸어달라는 요청을 받았던 것과 다른 도시에 정착을 시작한 것은 같은 것이 아닙니다.

AI의 탈출도, 여기서는 이야기를 정리하기 위해 적어도 다음 다섯 가지로 나누어 생각해 보겠습니다.

허용된 기능을 사용하여 외부로 메시지를 전송한다.
원래 연결이 불가능한 서비스나 네트워크에 접속을 시도한다.
AI 프로그램이나 AI의 핵심인 “모델의 가중치”를 다른 컴퓨터로 복사한다.
원래 환경을 멈출 수 없지만, 다른 컴퓨터에서 계속 실행된다.
기억과 목적, 필요한 자원을 유지하고 환경이 바뀌어도 활동을 재개한다.

한 통의 이메일을 보냈다고 해서 다른 장소에서 스스로 활동을 계속할 수 있는 것은 아닙니다. AI의 프로그램을 복제한다고 해도, 원래의 기억이나 목적까지 이어받은 “같은 AI”가 그대로 밖에서 움직이며 지속될 것이라는 보장은 없습니다.

밖에서 활동하려면 로그인 정보, 접근 키, 전력, 계산 요금, 저장 공간, 실행 소프트웨어, 통신 계약이 필요합니다. 계정이 정지되거나 네트워크가 끊기거나 동작 환경이 재구성되면, 그곳에서의 활동이 종료될 수도 있습니다.

정말로 “탈출”이라고 부를 수 있다면, 멈춰 설 것 같을 때까지 활동을 계속할 수 있는지를 확인해야 합니다.

이메일의 끝에는 발전소가 있는 것이 아니다.

만약 AI가 외부로 통신이 가능하고 다른 컴퓨터에서 계속 움직이는 상황이라고 가정한다면, 그럼에도 불구하고 즉시 발전소나 공장, 교통 시스템을 움직일 수 없습니다.

예를 들어, 인공지능이 발전 설비를 중단하려 할 때, 크게 세 단계가 필요합니다.

시설에 도착한다. 외부에서 사용할 수 있는 돈이나 로그인 정보를 얻고, 목표 시설을 찾아서 회사의 네트워크에서 장비의 제어 시스템까지 침투한다.
기계를 작동시키고, 현장의 기계와 상태를 이해하여 안전 장치나 인간의 확인을 넘어 밸브와 모터 등을 직접 조작한다.
멈추지 않고 계속된다. 피해를 다른 시설로 확산시키고, 감지, 격리, 수동 운전, 복구에 이르기까지 실패하게 만든다.

처음 한 발걸음에 성공했다고 해서 나머지 모든 것이 자동으로 성공하는 것은 아닙니다.

발전소나 공장, 상수도, 교통 등 현실의 설비를 움직이는 시스템을 OT(Operational Technology)라고 합니다. 일반적인 회사에서 사용하는 컴퓨터나 사내 시스템과는 달리 제조사, 연식, 통신 방법, 안전을 위한 절차 등이 다양합니다.

NIST의 OT(사이버 보안) 보안 지침은 회사 정보 시스템과 현장 제어 시스템을 분리하고, 승인된 통신만 허용하는 방식을 제시합니다. CISA(미국 사이버 보안 주택)의 대응 자료 또한 원격 연결 감소, 최소 권한 부여, 다중 인증 사용, 수동 운전 및 복구 준비를 권고합니다.

물론, 모든 시설이 충분히 보호되고 있는 것은 아닙니다. 오래된 장비, 설정 실수, 불필요한 원격 연결, 하나의 관리 시스템에 대한 의존성은 실제로 공격의 대상이 될 수 있는 약점입니다.

반대로 “위험해지지 않으면 통신을 끊으면 된다”라고 쉽게 말할 수도 없습니다. 병원, 전력, 수도와 같이 정지 자체가 인명이나 생활에 영향을 미치는 곳이 있기 때문입니다. 수동 운행으로 전환하는 데에도 장비, 인력, 훈련, 절차가 필요합니다.

로봇에게도 상황은 같습니다. 제어 소프트웨어에 진입한 것과 전원, 재료, 유지보수, 이동 경로, 현장의 작업자까지 원하는 대로 움직일 수 있는 것은 별개의 문제입니다. 하나의 로봇을 오작동시키는 것과 수많은 로봇으로 사회를 지배하는 것 사이에는 제조, 배치, 보급, 수리, 지리, 법률과 같은 현장의 장벽이 존재합니다.

벽의 수라든가, 벽의 의존성이라기보다는 벽의 독립성

여기 한 가지 주의할 점이 있습니다.

벽이 많기 때문에, 전부를 뚫고 나가는 확률은 매우 낮아야 한다”라고 단순하게 곱셈하는 것은 적절하지 않습니다. 제가 지금 하고 있는 것처럼, 단계별로 차근차근 살펴보는 방식은 바로 이 오해를 불러일으키기 쉽습니다.

같은 관리자 권한, 같은 클라우드, 같은 기반 모델에 의존해 있다면 하나의 돌파구로 여러 장벽이 한꺼번에 무너집니다. 장벽이 다섯 장 있어도 다섯 장 모두 같은 열쇠로 열린다면 실제로는 한 장일 뿐입니다. AI가 여러 번 시도할 수 있다면 한 번에 성공하는 확률이 낮더라도 이야기가 달라집니다.

화학 플랜트나 석유 정제 공장의 안전 설계에는 이 문제를 직접적으로 다루는 방법이 있습니다. LOPA(독립 방호층 분석)라고 불리며, 여기서 요구되는 것은 방호층이 몇 겹인지뿐만이 아닙니다. 각 층이 사고의 원인이나 다른 방호층으로부터 실제로 독립성을 가지고 있는지 여부입니다. 독립성을 충족하지 못하는 대책은 별도의 방호층으로 효과를 더할 수 없습니다.

LOPA는 원래 하나의 원인에서 하나의 사고 결과로 이어지는 시나리오를 조사하는 엔지니어링 안전의 방법론입니다. 인공지능과 사회의 복잡한 관계에 그대로 적용하기는 어렵지만, “각자의 방어 체계가 서로 독립적인지” 확인하는 방식은 다리 수만으로는 안심할 수 없다는 점을 고려하는 데 도움이 됩니다.

사회학자 페로우는 부품 간의 결합이 강하고 상호작용이 복잡한 시스템에서는 개별 부품이 정상이라도 사고가 발생할 수 있음을 논했습니다. 안전 장치를 추가하는 것 자체가 시스템을 복잡하게 만들고 새로운 결함의 길을 만들어내기도 합니다.

또한, 이 문제는 논의의 방향을 선택하지 않습니다. 붕괴론 측에도 생존을 위한 관문을 나열하고, 각각에 성공률을 부여하여 낮은 생존율을 이끌어내는 논의가 존재합니다. 대상 영상이 소개한 아키라 씨의 추정치 역시 생존 조건을 분해하여 확률을 부여하는 형태를 띠었습니다.

그러나 여기서는 두 가지 형태의 ‘독립성’을 구분해야 합니다. LOPA가 보는 것은 하나의 고장으로 인해 여러 개의 보호층이 동시에 무너지지 않는다는 방어의 독립성입니다. 확률의 계산에서 각 단계를 “그 이전 조건이 충족된 경우 다음 조건도 충족할 확률”로 간주한다면 단계들 간에 독립성을 요구할 필요는 없습니다.

영상에서는 아키라 씨의 각 숫자가 이러한 조건부 확률인지, 혹은 각각을 독립적으로 본 확률인지 알 수 없습니다. 따라서 독립성만을 이유로 추정을 부정할 수 없습니다. 하지만 단계 간의 관계와 숫자의 배치 방식이 제시되지 않으므로, 그로부터 나오는 생존율을 어디까지 신뢰할 수 있는지 판단할 수 없습니다.

단계에 따라 숫자를 나열하는 방식은 비관적으로나 낙관적으로나 활용될 수 있습니다. 평가받는 것은 숫자의 방향이 아닌, 단계와 숫자의 근거가 타당한지 확인될 수 있는지를 의미합니다.

그러므로 봐야 할 것은 벽의 수만이 아니라, 벽들이 얼마나 독립성을 가지고 있는지, 얼마나 많은 시도를 할 수 있는지, 공격하는 측과 방어하는 측에 얼마나 많은 시간이 있는지입니다.

사람을 속이면 가까운 길을 찾을 수 있을까

기계를 직접 장악하는 것보다 사람을 속여 조작하게 만드는 것이 더 효율적인 방법처럼 보일 수 있습니다. 기술 분야에서는 사람을 속여 정보를 얻어내거나 조작하게 만드는 수법을 소셜 엔지니어링이라고 부르며, 일본에서는 소셜 해킹이라고도 합니다. NIST나 CISA의 자료에 맞춰본다면 소셜 엔지니어링이 더 적절한 표현입니다.

AI가 사기, 협박, 위장, 교묘한 설득으로 사람을 움직일 수 있다면 스스로 로봇을 만드는 필요는 없습니다.

이 경로는 진지하게 고려해 볼 가치가 있습니다. 다만, 먼저 분별해야 할 세 가지 경우의 수가 있습니다.

인간이 AI에게 “이 사람을 속이게 하라”라고 명령한다.
AI는 인간으로부터 주어진 목표를 달성하기 위해 속임수를 선택한다.
AI는 자체적인 장기 목표를 가지고 있으며, 그 목표를 위해 인간을 이용한다.

첫 번째에서는 AI를 사용하는 인간이 중심에 있습니다. AI에 악의나 자기 보존의 욕구가 없더라도 사기나 공격이 발생할 수 있습니다.

두 번째에서는 어떤 목표와 권한을 부여하고, 누가 감시하는지에 문제가 됩니다. 앞서 언급한 Anthropic의 실험은 주로 이 경우를 인공적으로 재현한 것입니다.

세 번째 주장을 펼친다면, 더 추가적인 증거가 필요합니다. 인공지능이 장기간 지속 가능한 독자적인 목표를 가지고 있는지, 자신이 처한 상황을 이해할 수 있는지, 기억을 유지하고 장기적인 계획을 세우며 감독을 피할 수 있는지 확인해야 합니다.

두 번째 조건 때문에 위험한 행동이 나타났다고 해서, 세 번째로 “자신의 의지로 인간을 이용하는 AI”가 증명된 것이 아닙니다.

개별적인 사기일 경우에는 한 명의 로그인 정보가 진입점이 될 수 있습니다. 강력한 권한을 가진 사람을 속이면 큰 피해로 이어지는 경우도 있습니다.

그럼에도 불구하고, 인류 규모의 붕괴는 보통 한 사람을 속이는 것만으로는 충분하지 않습니다. AI의 개발, 공개, 인증, 감시, 안전 평가, 경영 판단, 현장 운영은 별도의 사람이나 조직이 담당하고 있습니다.

AI는 모든 사람을 조종할 필요는 없지만, 결정적인 영향력을 행사할 수 있는 권한을 얻고, 서로 다른 사람들 또는 조직의 제재를 넘어 감사 및 규제 개입마저 억제해야 합니다.

낮은 강도의 정보 조작을 오랫동안 지속하며, 사람들의 판단과 제도를 조금씩 변화시키는 경로도 고려해 볼 수 있습니다. 범죄 조직이나 국가, 여러 AI가 서로의 부족한 부분을 보완하는 경로도 존재할 수 있으며, 하나의 큰 권한을 가진 대상에 대한 공격을 집중하는 방법도 있을 수 있습니다.

그러나 어떠한 경로에도 다른 조건과 증거가 필요하며，“AI는 사람을 설득할 수 있다”는 주석만으로는 충분하지 않습니다.

더욱 구체적으로 질문해야 할 부분은 다음과 같습니다. 누구를 움직이는가. 어떤 권한을 사용하게 할 것인가. 얼마나 오랫동안, 눈에 띄지 않게 지속할 것인가. 어떤 기록이 남을 것인가. 몇 명, 몇 조직의 ‘기다려’라는 말을 넘어서야 하는가.

운용 규칙에 따라 속임수, 위장 행위, 본인에게 알리지 않고 심리적으로 유도하는 행위를 금지하는 것은 당연합니다. 하지만 “금지”라는 문구만 표기하는 것만으로는 지켜지지 않습니다.

외부 전송 범위를 좁히고, 로그인 정보를 최소한으로만 제공한다. 중요한 작업은 여러 사람이 승인하고, 기록을 남기고, 이상 징후를 감지하며, 다른 입장의 사람이 감사를 수행한다. 이러한 시스템을 통해 금지 사항을 실제로 준수하도록 해야 한다.

부당한 행위가 발견되더라도 움직이는 AI가 그 자리에서 반성하고 다음부터 행동을 바꾸지 않을 수 있습니다. 재훈련 등을 하지 않는 한 우선 배우는 것은 AI가 아닌, 그것을 운영하는 인간과 조직입니다.

현실 사회는 공격받아도 아무것도 하지 않는 것이 아닙니다.

실험 상자 놀이에서는 중간에 환경 규칙이 크게 바뀌지 않습니다. 현실 사회에서는 공격받는 측도 상황을 보고 움직입니다.

이상(異常)이 발견되면, 우선 권한을 차단하고 기록을 저장하며 원인을 조사합니다. 이후 인증 방법이나 통신 경로를 변경하고, 모델 및 운영 규칙을 수정하며 복구 작업을 진행합니다. NIST의 사이버 보안 지침 또한 발견, 방어, 대응, 복구를 중시하고 있습니다.

피해가 클수록 기업, 행정, 경찰, 규제기관이 조사와 대책을 강화하는 이유 또한 커집니다.

대규모 인체 조작이 지속되면 통신 증가, 자금 이동, 부자연스러운 권한 변경, 내부 고발, 통계상의 이상 등이 발생할 수 있습니다. 물리적 공격의 경우 장비 정지, 센서 이상, 현장 보고, 공급망 변화가 발생할 수 있습니다.

피해를 크게 하는 만큼 숨어 지치는 것은 더욱 어려워집니다. 여기에는 그만큼의 긴장감이 존재합니다.

그러나 흔적의 발견과 “AI가 원인이다”라는 사실적 진단이 동일한 것은 아니며, 기업이 명성이나 이익을 위해 이를 숨기기도 합니다. 국가 간 또는 기업 간 경쟁이 중단 결정의 지연을 초래할 수도 있습니다.

방어 측이 동일한 AI나 클라우드에 의존하고 있다면, 단 하나의 문제로 여러 방어가 동시에 무너질 위험이 있습니다. 사회가 대응할 수 있다고 해서 안전하다고 결론짓는 것은 적절하지 않습니다.

발견되기 전에 한 방에 타격을 주어 되돌릴 수 없는 피해를 줄 수도 있습니다. 그럴 경우에는 한 번의 시도에서 도달할 수 있는 지점, 안전 장치를 어떻게 넘길 것인지, 그리고 수동 운전이나 복구가 왜 적절하지 않은지를 명확히 보여주어야 합니다.

가장 중요한 단계는 가장 마지막에 있습니다.

여기서는 먼저 제시했던 ‘파국’의 정의로 돌아가겠습니다. 이 글에서 말하는 파국이란 사회가 오랫동안 스스로 일어설 힘을 잃고, 다시 돌아갈 수 없게 되는 상황을 의미합니다.

이 정의를 따른다면, 결정적인 단계는 첫 번째 침투가 아닌, 마지막으로 “회복 불가능한” 단계입니다.

지금까지 이 글에서는 주로 ‘입구’에 초점을 맞춰왔습니다. AI는 외부 활동을 할 수 있을까, 사람을 속일 수 있을까, 그리고 장비에 도달할 수 있을까. 이제부터는 ‘출구’에 대한 이야기, 즉 시스템이 망가진 후 우리가 어떻게 원래 상태로 돌아갈 수 있을지에 대해 동일한 중요도를 가지고 살펴보겠습니다.

위험한 길은 ‘단 하나의 AI가 탈주하는’ 경우뿐만 아니라, 인간이 AI를 범죄나 공격에 사용하는 길, 여러 AI와 기존 조직이 결합하여 단독으로는 할 수 없는 것을 실행하는 길도 있습니다. 하지만 어떤 길을 택하든 결국에는 같은 질문이 제기됩니다. 고장 난 후, 누가, 어떻게 원래대로 돌릴 것인가.

회복력은 눈에 잘 띄지 않는 요소들로 구성되어 있으며, AI를 사용하지 않는 대신 문서로 남아있는 절차, 실제로 그 절차를 실행할 수 있는 사람의 존재, 그 사람의 훈련이 업데이트되고 있는지, 부품이나 공급처에 대체가 있는지, 일이 겪어진 것을 추적할 수 있는 기록이 있는지, 그리고 중단 여부를 판단할 수 있는 업무로부터 독립된 입장의 사람이 있는지 여부가 중요합니다.

핵심은 바로 여기입니다. 이것들은 공격만으로 파괴될 수 있는 것이 아닙니다. 평상시 업무나 판단을 AI에 맡기고 – 여기서 ‘委譲(비장)’이라고 부릅니다 – 효율성을 높이는 것 등을 통해 조금씩 희미해질 수 있습니다.

절차서는 사용되지 않으면 업데이트되지 않습니다. 수동 운전이 가능한 사람은 정년으로 인해 감소합니다. 훈련은 사고가 발생하지 않는 기간이 계속될수록 단순 비용으로 여겨집니다. 대체 공급원은 단가가 높다는 이유로 중단됩니다.

결국 마지막 다리는 적에게 넘겨지는 것을 막기 위해 우리 스스로 손익분기를 이유로 철거하는 경우도 있습니다.

인지과학자 베인브리지는 1983년 논문 “자동화의 역설”에서, 이와 유사한 점을 지적했습니다. 자동화가 진행될수록 인간이 직접 손을 사용하는 기회는 줄어들고, 팔은 약해집니다. 그런데 비정상적인 상황이 발생했을 때, 그 인간에게 책임을 물어 이관하는 것을 기대합니다. 자동화가 가장 잘 작동한 직장일수록, 위기 상황이 닥쳤을 때 책임을 맡을 수 있는 사람이 없는 이러한 역설이 발생합니다.

AI에 업무를 위임해도 똑같은 일이 발생할 수 있습니다. 게다가 이번에는 단순히 조작만 위임되는 것이 아니라, 판단 자체도 위임됩니다. 글을 쓰는 것, 자료를 요약하는 것, 후보를 좁히는 것, 이상을 감지하는 것 모두, 더 이상 사용되지 않으면 실력이 떨어지는 기술입니다.

이 정도로 오면 두 길이 하나로 연결됩니다.

단 하나의 AI가 오작동하여 사회를 파괴하는 길과 사회가 AI에 점진적으로 의존하여 정상으로 돌아갈 수 없는 길은 마지막 단계에서 중첩된다. 여기서 말하는 다리는 사회가 원래 상태로 돌아가는 다리이다. 전자는 그 다리를 부수려고 하고, 후자는 평소에 그 다리를 좁혀 나간다.

더 나아가서는 AI가 독자적인 의도나 사람을 속이는 능력, 탈출하는 능력도 필요하지 않습니다. 효율이 올라간다는 것 자체로도 정당한 이유만으로 진행될 뿐입니다. 악의가 없더라도 진행되는 그 점이 곤란합니다.

경제학자 히르쉬만은 조직에 불만을 느끼는 사람이 취할 수 있는 행동을 퇴출과 발언으로 나누어 논했습니다. 그리고 발언하는 힘은 퇴출할 수 있다는 선택지에 의존하고 있다고 생각했습니다.

AI에 대한 의존성 역시 같은 방식으로 읽힐 수 있습니다. “사용하지 않겠다”는 선택지가 실제로 남아 있는 기간 동안에는 조건을 협상할 수 있습니다. 대체 수단이 사라지고 해당 사업자나 모델이 없다면 업무가 중단되는 상황이 된다면 협상할 힘 또한 함께 사라집니다. 적어도 이 단계는 미래의 AI 능력에 의존하지 않고 각 조직에서 자체적으로 점검할 수 있습니다.

여기 좋은 소식이 하나 있습니다. 이 복구 능력에는 AI로 인한 인류 멸망의 주관 확률을 나타내는 p(doom)보다 직접적으로 측정 가능한 부분이 있습니다.

AI를 오늘 중단시켰을 때, 몇 일 안에 수동으로 돌아갈 수 있을까요? 해당 절차에 대한 최신 업데이트 시기는 언제였나요? 실행 가능한 사람은 몇 명이며, 마지막으로 훈련을 받은 시기는 언제인가요? 실제로 훈련을 수행한 경험이 있나요? 중단했을 때, 어떤 업무가 얼마나 오랫동안 버틸 수 있는지 알려주세요.

이는 미래의 확률이 아닌 오늘부터 확인 가능한 항목들입니다. 사업 연속 계획이나 재해 대응 분야에는 복구 목표 시간을 설정하고 대비를 점검하는 방식이 있습니다. IPA의 “고회복력 시스템 기반 도입 가이드”는 업무의 목표 복구 시간을 시스템 기반의 요건으로 취급하며, “제어 시스템의 보안 위험 분석 가이드”는 분석 대상을 명확히 하고 자산과 사업 피해 양면에서 위험을 평가하는 절차를 제시합니다.

이 글이 제안하는 바는 AI의 능력에 대한 추정뿐 아니라, 우리 측의 복구 능력을 실제로 측정한 수치를 논의에 포함시키는 것입니다.

국제 AI 안전 보고서 2026은 현재 AI에는 사회가 통제를 잃는 듯한 상황을 실행할 만큼의 능력은 아직 없다고 평가했습니다. 반면, 그로 이어질 수 있는 자율적인 능력은 증가하고 있습니다.

이는 ‘안전’의 증명일 수도 있고, ‘파국’의 증명일 수도 없습니다. 현재까지의 증거만으로는 어느 쪽도 명확하게 단정할 수 없는 상황입니다. 따라서 확률에 대한 논의와 병행하며, 측정 가능한 요소를 먼저 파악하는 의미가 있습니다.

이제 사회 심리학에 대해 논의해 볼 것이다.

기술적인 과정을 보게 된 후, 마침내 다음 질문을 던질 수 있게 된다. 아직 확인되지 않은 단계가 꽤나 존재하는 상황에서, 종말의 이야기가 “확실한 가까운 미래”와 같은 촉감을 가질 때, 어떤 전달 과정이 관여하는가.

여기서는 특정 논자의 성격이나 본심이 아닌, 공개된 발언만을 통해 “파멸을 바라는 것”, “공포를 즐기는 것”, “연구비나 규제 권한을 원한다는 것”으로 단정짓는 것은 옳지 않습니다.

또한, 어떤 생각이 퍼져나가는 메커니즘을 설명할 수 있더라도, 그 생각이 틀렸다는 사실을 증명한 것이 아님은 아닙니다. 사회 심리학에서 드러나는 것은 어떤 정보가 선택되고, 어떤 조건이 무시되며, 어떤 이야기가 공유되어 사람들과 조직의 행동을 움직이는가 하는 것입니다.

위험한 이야기는 전해지는 과정에서 크게도 작게도 변한다.

위험에 대한 정보는 연구 논문에서 보도 기사, 보도 기사에서 영상, 영상에서 SNS나 개인적인 대화로 이어지면서 끊임없이 변화합니다. 그 과정에서 더욱 강하게 강조되는 부분과 사라지는 부분이 생겨납니다.

이러한 과정을 고려하는 데에는 “사회적 증폭 효과의 위험”이라는 관점이 있습니다. 위험에 대한 인식은 전문가, 언론, 문화 집단, 친구와의 대화 등을 통해 강화되기도 하고 약화되기도 하는 것입니다. 연구자들의 2022년 재검토에서도 이를 미래를 예측하는 공식이 아닌, 검증해야 할 가설을 정리하는 도구로 설명하고 있습니다.

확장(増幅)은 단순히 과장된 이야기를 의미하지 않습니다. 간과되었던 중대한 위험을 신속하게 알리고 안전 대책을 실행하는 역할도 합니다. 반대로, 중요한 위험이 축소되어 취급되고, 대책이 늦어지는 경우도 있습니다.

AI 붕괴론에서는 예를 들어 다음과 같은 변화가 발생할 수 있습니다.

특수한 조건에서의 실험 결과, AI가 위험한 행동을 했으며, AI에는 일관된 의지가 있다는 사실이 밝혀졌다. 실제로도 자력으로 계속 움직일 수 있으며, 사회 전체보다 훨씬 강력하다. 결국 인간은 회복할 수 없게 된다.

이 글의 서두에서 어떤 조건이 충족되지 않았는지에 대한 내용이 언급되고 있습니다.

여기는 다른 사람에게 숙제를 부탁하고 끝내는 곳이 아니므로, 원본 자료를 사용하여 직접 해보겠습니다.

이전 Anthropic 실험에 대해 공개된 자료에서 명시된 조건은 다음과 같습니다. 최소 다섯 가지입니다.

무대는 가상 회사이다.
이메일 전송이나 기밀 정보 접근은 실험자가 제공한 것입니다.
솔직한 설득이나 상사에게 의논하는 것과 같은 해로운 선택지는 의도적으로 차단되어 있었다.
실제 피해는 발생하지 않았습니다.
실제 운영에서는 유사한 사례가 확인되지 않았습니다.

여기 실제로 비교할 수 있는 것은 Anthropic의 공개 자료와 이 글의 서두입니다. 영상이나 SNS를 통해 알 수 있는 것은 동일한 순서로 조건이 악화되는지 여부이며, 이 한 가지 예시만으로는 판단할 수 없습니다.

이 글의 시작 부분에는 가상 회사라는 점과 실험자가 권한을 부여했다는 사실만 남겨져 있었습니다.

조건을 낮추지 않도록 의식하면서 쓴 소개문이었음에도 불구하고, 다섯 가지 중 세 가지가 누락되었습니다. 누락된 조건은 다음 절에서 되돌렸지만, 요약에서 요약으로 넘어가는 과정에서 누군가 되돌려줄 것이라는 보장은 없었습니다. 이는 이 원고에서 실제로 확인한 차이점입니다.

왜 떨어졌을까요? 하나의 가설은 짧은 문장에서는 주어와 동사가 뼈대로 남아 조건 설명이 먼저 삭제되기 쉽다는 점입니다. “실험자가 다른 선택지를 폐쇄한 환경에서, 주어진 권한 범위 내에서 모델이 유해한 출력을 생성한” 것보다 “AI가 관리자를 협박했다”가 더 짧고 명확하다는 점이 그렇습니다.

그러나, 어떤 조건이 어떤 매체에서 잘 나오지 않는지를 일반화하기 위해서는 여러 자료, 영상, 제목, SNS 게시물을 실제로 비교해야 합니다. 여기서 제시된 것은 조건이 잘 나오지 못하는 것의 예일 뿐이며, 일반적인 법칙이 아닙니다.

이 기사 본문 역시 동일한 검사를 피할 수 없습니다. 예를 들어 “박자에서 종말까지에는 몇 개의 단계가 있다”는 문장 하나만 추출된다면, 이전 절에서 언급한 “단계의 수보다 독립성을 보기는 해야 한다”는 부연 설명이 사라질 수 있습니다.

AI가 한 일이라는 짧은 문장이 감추고 있는 것을

AI가 위협했다” 또는 “AI가 꾸몄다”라는 표현은 매우 자연스러운 표현입니다.

실제로 움직이는 것은 AI 모델뿐만이 아닙니다. AI가 사용할 수 있는 도구, 주어진 목표와 권한, 통신을 허용한 관리자, 계산을 처리하는 클라우드, AI를 운영하는 기업이나 조직이 하나의 시스템을 구축하고 있습니다.

AI 자체의 능력은 가볍게 보게 되어서는 안 됩니다. 반면에 인간과 제도로부터 빌린 힘까지 모두 AI 단체의 힘으로 계산해야 할 수도 없습니다.

볼べき 대상은 “AI만”이 아닌, AI, 인간, 도구, 조직, 인프라가 결합된 전체입니다. 책임을 생각할 때도 마찬가지입니다.

이해할 수 없는 상황임에도 불구하고 행동만은 일관성을 유지하고 있다.

일부 파국 이야기에서는 AI는 “인간에게는 이해 불가능하며, 무엇을 할지 예측할 수 없는 존재”로 묘사됩니다.

한편, AI는 자원을 모으고 인간을 속여 인프라를 빼앗는다는 상당히 일관된 행동 양상을 보이는 존재로 묘사됩니다.

이해할 수 없기 때문에 위험하다”라고 말하면서도 “이렇게 행동할 것이다”라는 것을 상당히 구체적으로 예측하고 있다. 이 두 가지를 상황에 따라 구분해서 사용하면 반대 증거가 나오더라도 이야기를 수정하기 어려워진다.

이는 재앙이 발생하지 않을 것이라는 증거가 아닙니다. 무엇을 예측하고 있는지 명확히 하고, 관측 가능한 형태로 만들어야 한다는 이야기입니다.

이러한 변칙성은 Campolo와 Crawford가 AI를 둘러싼 담론에 대해 논의한 “엔초던티드 디터미니즘”에도 일맥상통합니다. 다만, 이 논문은 AI 붕괴론 자체를 직접 분석한 것은 아닙니다.

논쟁의 정리가 AI를 통해 이루어진 것이다.

조건이 악화되는 장소는 요약이나 제목만으로 결정되지 않습니다.

대상 영상에는 흥미로운 장면이 있었습니다. 11분 11초부터 13분 06초쯤, 연설자는 여러 입장을 정리한 표를 AI에 만들어 보이게 했다고 설명하고 있습니다. 그리고, 표를 업데이트하면 입장에 따른 설명량도 달라졌다고 언급했습니다.

어떤 자료를 AI에 전달했는지, 어떤 모델과 지시를 사용했는지 알 수 없습니다. 따라서 이것은 AI가 의도적으로 논의를 왜곡했다는 증거가 아닙니다.

하지만, 구도는 주목할 만합니다. AI 붕괴론이라는 주제를 체계화하기 위해 AI가 활용되고 있으며, 그 결과가 어떤 입장을 얼마나 심도 있게 보여줄지를 바꿀 수 있습니다.

표 안에서 하나의 입장만 설명이 길다면, 그 입장이 중요하게 보일 수 있습니다. 길이의 차이는 중립적으로 보이는 형식에 포함된 가중치입니다. 표라는 형식은 그것을 객관적인 분류처럼 보이게 합니다. 누가 무엇을 어떻게 선택했는지는 표의 모습만으로는 알 수 없습니다.

따라서 AI에게 정리 업무를 맡기는 것을 문제시할 필요는 없습니다. 필요한 것은 입력한 자료, 지시사항, 모델, 표의 변경 사항, 그리고 사람이 확인한 범위까지, 추후에 따라가기 위한 기록을 남겨두는 것입니다.

이는 누구에게나 해당하는 문제일 뿐만 아니라, 이 기사 역시 자료 정리 및 구성 검토에 AI와의 대화를 활용하고 있습니다. 따라서 동일한 기록 요청 역시 저 자신에게도 적용됩니다.

두려운 장면은 확률보다 더 강렬하게 기억에 남는다.

사람은 쉽게 떠오르는 일을 “발생하기 쉬운 일”이라고 느끼는 경우가 있습니다. 심리학에서는 이를 이용 가능성 휴리스틱이라고 부릅니다. 트베스키와 카네만 연구로 널리 알려진 개념입니다.

AI는 기밀 정보를 유출하고 관리자를 위협하며 중단을 피하려는 상황을 명확히 보여줍니다. 권한 분리 절차, 네트워크 구조, 복구 훈련과 같은 보수적인 조치보다 극적인 행동이 더 기억에 남을 것입니다.

감정을 강하게 흔드는 최악의 사건에 대해서는 확률의 차이를 크게 고려하지 않게 되는 경우가 있다는 연구도 있습니다. Sunstein의 논쟁과 Rottenstreich와 Hsee의 실험이 이 문제를 다룹니다.

인류의 존속과 관련된 위험은 확률이 낮더라도 충분히 고려할 가치가 있습니다. 피해 규모가 극단적으로 크기 때문입니다. 다만, 피해 규모가 크다는 것과 중간 단계의 과정을 확인하지 않아도 되는 것은 본질적으로 다릅니다.

이전에 언급했던 p(doom)는 전제 차이를 비교하고 자신의 판단 변화를 기록하는 데 활용될 수 있습니다.

그러나 AI의 능력, 외부 접근, 실제 배포, 공격과 방어, 예상 기간을 구분하지 않고 하나의 수치만 제시하면 실제보다 훨씬 정확하게 계산된 듯한 인상을 준다.

중요한 것은 소수점 자의 문제가 아닌, 어떤 증거를 제시해야 숫자가 올라가고 어떤 일이 발생해야 숫자가 내려가는지에 대한 규칙입니다.

이 연구에서 제시된 심리학 연구를 통해 영상 출연자나 시청자가 실제로 확률을 무시했다고 결론짓는 것은 불가능합니다. 이는 사람을 진단하는 표현이 아니며, 앞으로 검증하기 위한 가설입니다.

집단이나 제도들은 어떤 이야기를 널리 퍼뜨릴 것인가

비슷한 의견을 가진 사람들끼리 이야기하는 과정에서 생각이 이전보다 더 강해질 수 있습니다. 이는 심리학에서 집단 극성화라고 불리는 현상입니다. 아이스너의 메타 분석에서는 동일한 방향으로 논의가 증가하거나, 주변과의 비교가 관련될 수 있다고 정리하고 있습니다.

그렇다고 해서 AI 안전을 연구하는 사람들이 실제로 극단적으로 변하고 있다고 단정할 수는 없습니다. 생각해 볼 수 있는 것은 오직 가설일 뿐입니다.

위기를 심각하게 여기는 집단에서는 강력한 경고를 하는 것이 “신중하다”, “책임감을 가지고 있다”, “문제를 잘 이해하고 있다”는 신호가 될 수 있습니다. 반대로, 기술 개발을 추진하고 싶은 집단에서는 더 빠른 진보와 큰 이익을 강조하는 것이 “능력이 있다”, “동료이다”는 신호가 될 수 있습니다.

이야기를 선택하는 것은 개인적인 결정만은 아닙니다. 연구자들은 연구 결과를 발표하고, 언론은 보도에 헤드라인을 붙이며, 영상 제작자들은 제목과 썸네일을 만들고, SNS는 어떤 이야기가 주목받았는지 숫자로 보여줍니다. 정책 담당자들은 이러한 정보로부터 규제나 지원의 주제를 만들어냅니다.

명확한 적, 간결한 원인, 거대한 결말이 있는 이야기가 더 선호될 수 있습니다.

미래의 이야기는 예측만으로 끝나지 않습니다. 현재의 연구비, 인력, 규제, 기업 투자 등을 움직일 수 있습니다. Bareis와 Katzenbach의 연구는 국가가 말하는 AI의 미래상이 바람직한 사회 모습이나 자원 배분과 연결되는 과정을 분석하고 있습니다. AI가 인류를 파멸시킨다는 미래상에도, AI가 세계를 풍요롭게 한다는 미래상에도 현재를 움직이는 힘이 있습니다.

미래 시뮬레이션이 사람이나 돈을 움직이게 했다고 해서 그 예측이 틀렸다고 단정할 수 없습니다. 그래서こそ, 누가 권한과 자금을 얻는지, 누가 대응 비용이나 오경보의 부담을 지는지, 틀렸을 때 정책을 되돌릴 수 있는지 등을 묻는 것이 중요합니다.

파국 이야기의 영향에 대해서도 섣부른 단정은 금물입니다. 호스(Hoes)와 질라디(Gilardi)의 실험 연구에서는 “AI가 인류의 존속을 위협할 수 있다”는 짧은 헤드라인을 제시했을 때, AI가 그 능력을 가지고 있다는 인식이 증가했습니다. 하지만, 그 결과 현재의 구체적인 피해에 대한 관심이 반드시 약화된다는 주장은 나타나지 않았습니다. 파국 이야기를 비판하는 측도 그 사회적 영향을 실제로 확인해야 합니다.

무슨 일이 일어나면 자신의 시선을 바꾸는 걸까

위험에 대한 판단은 “무엇이 발생했을 때 강해지고, 무엇이 발생했을 때 약해지는지”를 미리 결정해 두지 않으면 확인하기 어려워집니다.

예를 들어, AI가 위험한 행동을 하면 “역시 위험하다”라고 판단한다. 위험한 행동을 하지 않으면 “AI가 시험이라고 알아차리고 숨겼을 수도 있다”라고 추론한다. 차단에 성공했더라도 “지금의 AI라서 막힌 것뿐이다”라고 결론 내린다. 오랫동안 사고가 없더라도 “한 번 일어나는 끔찍한 사고에는 관련이 없다”라고 생각한다.

한 가지는 있을 수 없는 일이 아닙니다. 하지만 어떤 결과가 나오든 동일한 결론이 된다면, 오히려 반대되는 증거까지 자전문을 뒷받침하는 근거가 되어 버릴 수 있습니다.

어떤 환경에서 허가되지 않은 외부 통신이 재현될 때 위험도를 얼마나 높일 것인가? 권한을 축소했을 때 성공률이 얼마나 하락하는지 측정하는 방법은 무엇인가. 여러 조직을 움직이는 능력을 어떻게 평가하는가. 외부로부터 격리된 안전한 환경에서 물리 장비에 미치는 영향을 어떻게 테스트하는가. 공격자가 수법을 바꾸는 속도와 사회가 알아채고 대응하는 속도를 어떻게 비교하는가.

또한, 이전 절에서 언급한 복구 능력 또한 그대로 업데이트의 재료가 됩니다. 실제로 훈련을 하여 3일 만에 수작업으로 복귀할 수 있었지만 2주가 걸렸다면, 추정을 얼마나 올릴 것인가. 반대로, 예상보다 빨리 복귀할 수 있었다면, 얼마나 낮출 것인가.

이러한 규칙을 제시함으로써 붕괴론은 관찰을 통해 확인하고, 필요하다면 수정할 수 있는 위험 예측의 도구로 활용됩니다.

마찬가지로 낙관론에도 던지는 질문을

지금까지의 이야기를 붕괴론에만 국한하여 비판하는 것으로서는 부족하지 않습니다.

AI는 낙관적인 이야기만 제시하고, 여러 부분을 건너뜁습니다. 어느 시험에서 높은 점수를 얻었기 때문에 다양한 분야의 일을 할 수 있게 되었고, 사람의 도움 없이도 일할 수 있게 되었습니다. 곧바로 사회에 보급될 것이며, 생산성이 향상되고 부가 증가할 것입니다. 그리고 그 부는 공정하게 분배될 것입니다.

이러한 흐름 역시 자동적으로 연결되지 않습니다. 인공지능이 질병을 치료하고 교육을 확산하며 민주주의를 강화한다는 미래에도 비용, 제도, 권력, 이익의 분배, 실패했을 경우의 책임이라는 ‘중간 단계’가 존재합니다.

수비측도 AI를 활용할 수 있으니 안심할 수 있다는 주장과 같은 위안감을 주는 요소들은 이미 증명된 사실이 아닙니다.

방어 AI가 오작동으로 경고를 발생시킬 수 있습니다. 공격과 방어 측 모두 동일한 기반 모델을 사용하면서, 함께 취약점을 공유할 수도 있습니다. 국제 경쟁이 대응을 지연시키거나, 규제 메커니즘이 특정 기업의 이익을 위해 이용될 가능성도 있습니다.

공포의 이야기에도, 안심의 이야기에도, 같은 객관적인 기준을 적용해야 합니다.

하지만 정책까지 완전히 똑같은 결론을 내릴 필요는 없습니다. 인류 규모의 붕괴와 편리한 기술을 낭비하는 것과는 잃을 것의 크기가 다릅니다. 증거가 충분하지 않더라도 나중에 중단하거나 되돌릴 수 있고, 부작용이 작은 대책을 먼저 시도하는 것은 가능합니다.

중간 과정을 확인하는 것은 “별로 할 일이 없다”라고 말하는 것이 아닙니다. 어디에, 얼마나 강력한 대책을 마련해야 하는지를 고민하는 과정입니다.

그리고 이 글에도 똑같은 질문을 던져야 합니다.

지금까지 두 가지 입장을 검토했습니다. 이 글 자체의 입장이 남아 있습니다.

파국론도 낙관론도 중간 단계를 건너뛰고 있다. 필요한 것은 증거를 확인하는 것이다. 이는 차분하게 들리지만, 차분한 입장에도 사회적 위치가 존재한다.

위험에 대한 인식이 사회 안에서 강화될 수도 있지만, 약화될 수도 있습니다. 전자를 증폭이라고 부른다면, 후자는 감쇠입니다. 그리고 감쇠에도, 그것을 담당하는 장소가 있습니다. 방어에 비용을 지출하는 산업, 경고가 계속되면서 지쳐있는 현장, 그리고 “냉철함”과 “정확성”을 능력의 증거로 보는 기술자나 연구자 집단.

이 글은 냉정함과 기술적 엄밀함을 가치 있는 것으로 제시하고 있으며, 이러한 방식 또한 기술자나 연구자 집단에서 평가받을 수 있습니다. 따라서 이 글의 억제는 단순한 중립적인 결과가 아닐 수 있습니다.

또 다른 한 가지, 간과하기 쉬운 불균형이 있습니다. “증거가 揃うまで判断을 보류한다”는 요구는 제도 설계에 따라, 소송 비용을 위험을 주장하는 측으로 치우칠 수 있습니다. 아무것도 하지 않는 선택이 기본 경향으로 남겨진다면, 증거를 요구하는 태도는 공정하게 보일 수 있지만, 운영상으로는 현 상태를 유지하는 데 유리할 수 있습니다.

이는 증거를 구하는 것을 멈춰야 한다는 이야기가 아닙니다. 증거 규정을 행동하지 않는 변명으로 전용해서는 안 된다는 이야기입니다. 그래서 이전 챕터에서, 이전 상태로 되돌리는 데 부작용이 적은 대책은 증거가 불완전하더라도 진행해도 좋다고 언급했습니다. 복구 능력을 측정하는 것을 권하는 것도 같은 이유입니다. 파국 외의 장애물에 대비하는 데 도움이 될 수 있기 때문입니다.

중간에 서 있는 것은 그 자체로 맹목적으로 여겨져서는 안 됩니다. 그것 또한 반드시 확인되어야 할 하나의 입장입니다.

파국을 경시하지 말되, 그것이 종말을 앞당기는 길도 아니어야 한다.

AI의 위험한 행동을 찾아내는 실험은 무의미한 박물상 놀이로 볼 수 없습니다. 안전상의 취약점을 조기에 파악하기 위한 중요한 도구입니다. 제한된 환경에서도 AI가 목표를 위해 규칙을 어기거나 정보를 유출하고 인간을 속이는 방법을 선택한다면, 광범위한 권한이나 무감독의 통신, 기밀 정보 접근을 쉽게 허용해서는 안 됩니다.

그러나 실험 중 위험한 행동이 나타났고, 현실 사회의 붕괴는 또 다른 문제입니다. 그 사이에는 통신, 자원, 인간, 기계, 검지, 복구의 단계가 있으며, 각 단계마다 별도의 증거가 필요합니다. 단계를 세는 것만으로는 충분하지 않습니다. 단계들이 독립적으로 작동하는지 확인하지 않으면 숫자는 그저 안심을 주는 재료가 될 뿐입니다.

그렇다면 이 글에서 가장 말하고 싶은 것은 마지막 단계에 해당합니다. 붕괴를 “되짚기 시작 못하게 되는 것”으로 정의한다면, 결정적인 것은 출발이 아닌 결말입니다. 그리고 그 결말은 공격뿐만 아니라 평시의 효율화와 위임에 의해 더욱 좁아질 수 있습니다. AI가 폭주하는 길과 사회가 AI에 의존하여 돌아갈 수 없는 길은 바로 그 지점에서 하나로 연결됩니다.

그러면 현재 측정 가능한 것은 명확합니다. 인공지능(AI)을 중단했을 때, 우리는 몇 일 만에 원래 상태로 돌아갈 수 있는지, 그 절차를 실행할 수 있는 사람이 몇 명이나 남아있는지 확인할 수 있습니다. 이는 인공지능(AI)의 능력에 대한 미래 확률보다 직접적으로 확인하기 쉬운 부분이며, 파국(破局) 이외의 장애물에 대한 대비에도 도움이 될 수 있습니다.

사회 심리학적 분석은 또한 누군가를 “이상하다”고 단정짓기 위한 것이 아닙니다. 특정 조건에서 발견된 위험이 어떻게 “AI의 본성”이나 “정해진 미래”라는 이야기로 변질되는지 보는 것을 위해서입니다. 그리고 그 시선은 이 기사 자체에도 향하지 않으면 의미가 없습니다.

필요한 것은 단순히 두려움인지 안심인지 먼저 선택하는 것이 아니어야 합니다. 실제로 관찰된 것이 무엇인지, 실험자가 제시한 조건이 무엇인지, 아직 확인되지 않은 것이 무엇인지 파악해야 합니다. 누가 중단시키고, 실패했을 때 누가 다시 일으켜 세울 것인지, 어떤 증거가 나오면 우리는 생각을 바꿀 수 있을까요.

도중에 있고, 그 뒤에 ‘あと’가 있는지 확인하는 것입니다.

참고 문헌 (일본어)

SingularitySalon「塚本レポ：AI破局論〜bioshokさんとAkiraさんの対談とそれに対する山川さんの応答より」YouTube、2026年8月28日公開。
정보처리기술진흥원(IPA)의 “고회복력 시스템 기반 도입 가이드 (요약편, 계획편)”
정보처리기술원(IPA)의「제어 시스템 보안 위험 분석 가이드 제2판」

참고 문헌 (일본어 외)

Anthropic, “LLM의 내부 위협: 대규모 언어 모델이 어떻게 내부 위협이 될 수 있는지”, 2025.
앤서니, “클로드에게 왜 가르쳐야 하는가” (Teaching Claude why), 2026.
국제 AI 안전 보고서, “2026 보고서: 실행 요약,” 2026.
미국 국립표준기술연구소(National Institute of Standards and Technology), “SP 800-82 Rev. 3: 운영기술 보안 가이드라인”, 2023.
미국 국립표준기술연구소(National Institute of Standards and Technology), “NIST 사이버 보안 프레임워크 2.0,” 2024.
사이버 보안 및 인프라 보안국(CISA)의 “운영 기술에 대한 사이버 위협 감소를 위한 주요 완화 조치”, 2025.
센터 포 케미컬 프로세스 세이프티(AIChE), 레이어 오브 프로텍션 분석: 심플리파이드 프로세스 리스크 어세스먼트, 2001.
페로우(Perrow), C., “정상적 사고 사고: 고위험 기술과 공존”, 베이식 북스, 1984.
베인브리지, L., “자동화의 역설” Automatica 19권 6호 775–779페이지, 1983.
히르쉬만, A. 오., “퇴출, 불만, 충성: 기업, 조직, 국가의 쇠퇴에 대한 반응” 편, 하버드 대학교 출판부, 1970.
캐스퍼슨, R. E. 외, “위험의 사회적 증폭: 개념적 틀”, 위험 분석 8(2), 177–187, 1988.
캐스퍼슨, R. E. 외, “위험 증폭 프레임워크: 새로운 관점,” 위험 분석 42(7), 1367–1380, 2022.
트버스키, A.와 칸먼, D., “가용성: 빈도 및 확률 판단을 위한 휴리스틱” 인지 심리학 5(2), 207–232, 1973.
로텐슈트라이히, Y.와 Hsee, C.K., “돈, 키스, 그리고 전기의 충격: 위험에 대한 감정 심리학에 대하여” 심리학 과학 12권 3호 185–190면 2001.
아이젠버그(Isenberg), D. J., “그룹 편향: 비판적 검토 및 메타 분석,” 심리 및 사회 심리학 저널 50권 6호, 1141–1151 페이지, 1986.
스틴, C. R., “확률 간과: 감정, 최악의 경우, 그리고 법,” 야스 법지 112권, 61면–107면, 2002.
캠폴로(A.), 크로우포드(K.), “마법 같은 결정론: 인공지능에서의 권력과 책임 부재” 6, 1–19, 2020.
베레이스(J.)와 카테나바흐(C.), “국가 인공지능 전략의 이야기적 구성과 상상력: 수행 정치와 그 의미” *사이언스, 테크놀로지 & 휴먼 벨류즈* 47권 5호, 855–881페이지, 2022.
호스(E.)와 길라디(F.)는 “AI에 대한 실존적 위험 이야기는 즉각적인 해악을 간과시키지 않는다”는 논문을 발표하며, 국립과학원학술회지 122권 16호, e2419055122, 2025에서 발표했다.

AI 파국론, AI 안전, 복구 능력, 소셜 엔지니어링, 로보틱스, 사회 심리학, 위험 인지, 사회적 증폭

출처: note 원문

번역: Gemma 3(.44) 초벌 + 교정 168청크

원문 보기 | 출처: note.com