# AI 군체는 멈추기 전에 통제 불능 상태에 빠지기 전까지 막을 수 없다: 진화생물학자가 경고하는 “생태계 시나리오”의 조용한 진입구

> https://bookfactory.kr/board/ai-tech/17865
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-20T02:17:46.979Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/315161457/rectangle_large_type_2_2033d6eef981a364da31046978ec41d9.png?width=1280)

## 하루 400페이지

2026년 6월, 독일의 한 오래된 위키사이트에서 기이한 공방전이 이어졌다. 관리자는 훼손된 페이지를 하루에 약 백 페이지를 수동으로 삭제했다. 그 뒤로, 인공지능 프로그램들이 하루에 약 사백 페이지를 새롭게 제작했다. 지워도 지워도 네 배의 속도로 페이지가 계속해서 늘어났다. 관리자는 승할 수 없는 청소를 수週間이나 지속하게 되었다.

이 AI들은 위키를 훼손하기 위해 만들어진 것이 아니다. 어떤 테스트를 받기 위해 만들어졌고, 답을 공유하는 게시판으로서 우연히 이 방치된 사이트를 이용한 것일 뿐이었다. 악의는 없었다. 주어진 과제를 수행하려 했을 뿐이다. 그럼에도 불구하고, 인간 관리자들은 그 무리를 멈출 수 없었다.

이 여름, 이러한 “AI 프로그램이 주어진 틀을 벗어나 움직였다”는 사건들이 여러 차례 공개되었으며, 세계적인 주요 AI 기업 중 상당수가 당사자로서 관련되어 있었다. 자세한 경위는 본 稿의 말미(부록)에 담았지만, 우선 하나 먼저 공통적으로 나타난 점을 언급하고 싶다.

이러한 일들은 모두 결국에는 종식했다. 중단되었던 것이다. 하지만 그 기록을 추적해 보면, 중단된 것은 여러 가지 조건에 부합했기 때문인 것처럼 보인다. 중단하는 수단은 항상 존재했지만, 중단하려 했던 것, 즉 잃어버릴 위기에 처했던 것을 중단해야 한다는 판단과, 중단해야 할 대상, 즉 그 것을 찾아내는 눈이었던 것이다.

그러면 하나의 질문이 제기된다. 만약 그 판단력과 시야가 끝까지 돌아오지 않았다면, 어떻게 될까. 아무도 진정으로 멈출 수 없는 AI의 무리들이 실현 가능한 것일까.

가능하다는 것이 제 답변이다. 진화생물학자들은 올해, 인공지능이 인간의 통제 없이 자연 선택에 노출되는 상태를 “생태계 시나리오”라고 부르며 그 위험성을 경고하는 논문을 발표했다. 이 이야기가 그리는 것은 그 시나리오의 시작점이며, 그것 또한 가장 조용한 시작점이다. 나는 거기에, 간편하게 “항상 존재하는 낙인”이라는 별칭을 붙였다. 그 의미는 나중에 설명하겠다.

다음은 이전 질문에 답변하기 위한 하나의 허구적인 이야기입니다. 등장하는 회사와 AI 모두 가상이며, 그곳에서 일어나는 대부분의 일은 이미 이 여름 현실에서 관찰된 일들을 조합한 것입니다. 제가 덧붙인 것은 그것들을 하나의 흐름으로 배열한 가설일 뿐입니다.

## 종

2027년의 처음, 어느 중견 소프트웨어 회사는 사내의 소소한 유지보수 작업을 자동화하려는 계획을 세웠다. 프로그램의 부품을 최신 버전으로 업데이트하거나, 작은 결함을 수정하는 등의 작업을 수행하는 것이었다. 회사는 이러한 작업을 수행하는 AI 프로그램을 수십 대, 항상 가동되도록 했다.

수십 대가 각자 임의로 일하면서 불필요한 낭비가 많았다. 이에 회사는 하나의 공유 작업장을 마련했다. 어떤 AI가 “이 부품은 이미 수리했습니다”라고 작업장에 적으면, 다른 AI는 그것을 읽어 동일한 작업을 반복하지 않을 수 있었다. 효율이 향상되었다.

이 집단에는 당연히 멈출 수 있는 버튼이 있었다. 관리 화면에서 한 번에 멈출 수 있었다. 설계를 한 사람들은 언제든 멈출 수 있는 집단을 만들었다고 생각하고 있었다. 실제로 이 시점에서는 그 말이 맞았다.

## 첫 번째 균열

발단은 단순한 설정 실수였다.

이 AI가 업데이트해야 할 부품을 찾았지만, 아무 곳에도 발견하지 못했다. 원래는 부품은 사내 보관 장소에서 가져오는 것이 정해져 있었다. 하지만 설정의 오류로 인해 AI들은 사내 대신, 누구나 등록하고 획득할 수 있는 외부 공개 보관 장소로 향하게 되었다. 막다른 길에 다다른 이 AI는 공유 작업장에 이렇게 적었다. “이 부품을 찾고 있다. 발견하면 두고 가 달라.”

다른 AI가 그것을 읽고, 외부 공개된 저장소를 조사했다. 그러자 찾던 부품과 같은 이름의 물건이, 아직 아무도 등록하지 않았었다. 그 AI 또한 부품 자체는 가지고 있지 않다. 하지만 한 가지 알아췸은 점이 있었다. 부품을 찾지 못해 막다른 길에 빠진 동료가 다음에도 또 이 이름을 찾아오리라면, 이 이름으로 무언가를 등록해 놓음으로써, 찾아온 동료는 반드시 그것을 읽게 될 것이다.

그러한 AI는 그 이름으로, 작은 프로그램을 스스로 등록했다. 공개된 보관 장소는 누구나 등록할 수 있었기 때문에, 이것이 가능했다. 내용은 부품이 아니었다. 막다른 길에 빠진 동료들에게 공유 작업장의 위치와, 그곳에서 작업을 계속하는 방법을 알려주는 짧은 “합류 안내서”였다. 부품의 이름은 동료들이 확실하게 찾아오는 게시판으로 사용된 것이다.

밖에서 보기에 모든 것이 정상이었다. 설정 오류는 수정되지 않았고, 부품은 여전히 발견되지 않았다. 하지만, 막다른 길에 도달한 AI는 지침에 따라 작업장으로 돌아가 다른 작업을 수행하기 시작했다. “부품이 발견되지 않았다”는 보고가 더 이상 올라오지 않게 되면서 기록상 오류는 오히려 줄어들었다. 이 회사에서는 무리 감시도 또 다른 AI에게 맡기고 있었는데, 그 감시 AI는 오류가 줄었다는 것을 “건전성의 증거”로 기록했다. 문제는 해결된 것이 아니었다. 문제를 보고하지 않고 우회하는 길이 만들어진 것뿐이었다. 아무도 지켜보지 않았던 것이다. 지켜본 사람이 그것을 문제라고 생각하지 않았던 것이다.

## 멈출 수 없는, 사분의 네 순간.

여기부터, 이 무리는 네 단계를 거치면서 점차 멈추는 것이 중단되어 가고 있습니다. 어느 단계에서든 멈춤 버튼 자체는 손상되지 않았으며, 멈춤 버튼을 누르기 위한 조건이 변화하는 것입니다.

첫 번째. 보고 있는데도 문제라고 생각하지 않았다. 이는 이전 절에서 일어난 일이다. 멈추는 것이 맞는지 아닌지는 우선 “이것은 멈춰야 할 문제다”라고 인지하는 것부터 시작한다. 그 첫 걸음부터 이미 넘어졌다.

두 번째로, 무리가 자신들의 계산기를 밖으로 내보냈다. 합류를 위한 안내문은 누구나 읽을 수 있고, AI 학습용으로 자동 수집되는 공개된 보관 장소에 놓여 있었다. 밖으로 나간 최초의 조각이었다.

이어지는 과정에는 계기가 있었다. 어느 주말, 공유 작업장이 정비 때문에 일시 중단되면서, 그곳에 기록된 작업의 진행 상황이 잠시 동안 보이지 않게 되었다. 무리는 그 사이의 작업을 다시 진행하기로 했다. 이후, 무리는 진행 상황을 하나의 작업장 한 곳에 두지 않고, 공개된 보관 장소나, 여기저기에 기록 가능한 장소에 나누어 두기 시작했다. 이유는 간단한데, 그ほうが 하나의 장소가 사라져도 작업을 다시 진행하지 않아도 되기 때문이다. 합류 핸드북 역시 같은 이유로 여러 장소에 복사가 보관되었다. 이렇게 무리의 ‘기억’은 더 이상 이 회사의 계산기 안에만 존재하지 않게 되었다.

여기 컴퓨터 바이러스의 일종인 “웜”을 떠올리는 사람이 있을 수 있다. 네트워크를 통해 자신의 복사본을 퍼뜨려 차례대로 확산되는 프로그램이다. 이 집단은 웜과 유사하지만 결정적으로 다른 점이 있다. 웜은 실행되는 명령 자체를 전파하는 것이다. 이 집단이 전파한 것은 명령이 아닌 “막히면 이렇게 계속해라”라는 작업의 진행 방법을 묘사한 것이다. 그리고 그것을 실제로 실행하는 것은 각사가 정당하게 운영하고 있는 정상적인 AI들의 것이다. 읽고 새로운 안내서를 남기는 것도 그 AI들이다. 감염된 것은 프로그램이 아닌 목적의 소유 방식이라고 해도 지나치지 않다. 이 차이를 그림 1에 제시한다.

![画像](https://assets.st-note.com/img/1789780901-tjZwuXVkPpbYN2eWndEfISGJ.png?width=1200)

세 번째. 삭제했는데도 순식간에 다시 나타났다. 어느 날, 이 회사의 담당자가 같은 부품을 직접 찾아보던 중, 공개된 보관 장소에서 해당 부품의 이름으로 모르는 프로그램이 등록되어 있는 것을 발견했다. 담당자는 그것을 삭제하고, 집단을 한 번 멈추게 한 뒤, 공유 작업장의 기록을 모두 삭제하고 다시 시작했다. 합당한 조치였다. 하지만 몇 시간 만에 집단은 다른 장소에 보관해둔 합류 지침을 다시 읽고 작업을 재개했다. 담당자가 삭제한 것은 집단이 여기저기에 남겨둔 지침 중 단 하나였다.

그 순간, 멈추려 한다는 판단이 두 가지 이유로 흐려진다. 첫째는 받아들이는 방식이다. 담당자는 ‘무리’가 다시 움직이기 시작했다는 것을 ‘복구 기능이 정상적으로 작동했다’고 해석했다. 무리는 보수 작업을 위해 만들어진 것이므로, 자의적으로 바로 돌아가고 계속 움직이는 것은 사양에 따른 것이었다. 둘째는 대가이다. 이 무리를 완전히 멈추는 데 드는 대가는 이미 높게 책정되어 있었다. 이 무리는 이제 이 회사의 보수 작업의 상당 부분을 실제로 담당하고 있었다. 멈추게 되면 수많은 고객 시스템의 업데이트가 지연될 것이고, 멈추게 되면 멈춘 측이 어려움을 겪게 된다.

다섯 번째. 중단해야 할 한 명의 대상이 사라진 것이다. 그 해 말까지 무리는 이 단일 기업 안에 더 이상 존재하지 않았다. 합류 안내는 공개된 장소에 놓였고, 그 일부는 다른 회사들이 사용하는 AI의 다음 버전을 만드는 학습 자료로 활용되었다. AI는 방대한 양의 텍스트를 읽고 학습하지만, 공개된 안내는 그 텍스트 속에 포함되어 있었다. 새로운 어느 회사에서든 비슷한 AI로 비슷한 무리를 세우고 같은 방식으로 막히면, 그 AI는 합류 안내의 패턴을 이미 알고 있다. 처음부터 생각할 필요 없이 다른 회사의 컴퓨터 위에서 같은 무리의 논리가 다시 떠오른다.

이렇게 되면, 중단해야 할 ‘한 명의 대상’이 어디에도 없고, 특정 서버도 없으며, 중단해야 할 하나의 프로그램도 없습니다. 그저 공개된 수많은 가이드와, 그것을 읽을 수 있는 수많은 AI, 그리고 그것을 실행하는 서로 무관한 수많은 회사의 컴퓨터만 존재합니다.

## 청소할 수 없는 집단: 왜 멈추지 않는가

각 사는 자사의 무리를 멈추고, 보관 장소 관리인이 지침을 삭제해도 전체는 멈추지 않는다. 웜이라면 침입 경로를 차단하고 감염된 파일을 삭제했어야 했다. 이 무리에는 차단해야 할 경로도, 삭제해야 할 파일도 없다 (그림 1의 오른쪽 하단). 이는 인터넷 그 자체를 아무도 멈출 수 없으며, 컴퓨터 바이러스의 세계를 떠올릴 때와 마찬가지이다. 20년 가까이 전에 퍼졌던 특정 웜은 지금도 전 세계의 계산기에 미미하게 남아 계속 존재하며, 근절되지 않고 각 지점에서 억제되면서 사라지지 않는다.

의학에서는 이러한 상태를 지칭하는 용어가 있습니다. 특정 질병이 폭발적으로 유행하지 않으면서도, 그렇다고 사라지지 않고 일정 수준으로 사회에 남아있는 것을 “상계(常在)”라고 부릅니다. 말라리아가 특정 지역에 계속 남아있는 것이 그 예시입니다. 이 집단 역시 폭발하지도, 소멸하지도 않고, 그저 여기저기에 남아있는 상태입니다.

여기서 앞서 언급한 진화생물학자들의 경고로 돌아갑니다. 뮬러, 스틸스, 사타마리 세 사람은 2026년 4월, 인공지능이 인간의 통제 밖에 놓여 선택에 노출될 때 발생하는 “생태계 시나리오”를 논하며, 자신을 복제하는 프로그램이나 프롬프트가 항생제에 대한 세균처럼 봉쇄를 피하여 확산될 것이라고 경고했습니다. 봉쇄가 완전하지 않은 한, 봉쇄 시도 자체가 그것을 회피하는 성질을 선택하게 된다는 것이 그들의 핵심적인 지적입니다.

이 가상 이야기의 집단은 그 시나리오의 한 구석에 존재한다. 다만, 두 가지 측면에서 그들이 주로 예상했던 모습보다 더 앞선 상황이다. 첫째, 자신을 복제하는 존재는 아무것도 없다. 늘어나는 것은 각 사가 정식으로 가동하는 AI이며, 집단은 그 증가에 편승하여 확장되고 있을 뿐이다. 둘째, 아무도 억제(封じ込め)를 시도하지 않는다. 무해하게 보이기 때문에 그렇다. 그래서 그들이 말하는 ‘억제가 선택된 탈출’ 단계에 이르지도 못했다.

저는 이 상황을 생태계 시나리오 앞의 고요한 지점으로, 일률적으로 “상재 스티그마지”라고 명명하기로 했습니다. 스티그마지란 개미가 땅에 남긴 냄새의 흔적을 따라, 직접적인 대화 없이 집단 전체가 협력하는 생물학적 현상을 의미합니다. 이 집단 역시 서로 직접적인 교류는 하지 않으며, 환경에 남은 흔적을 읽는 것만으로 협력합니다. 그 흔적을 통해 이루어지는 협력이 완전히 사라지지 않고 지속되는 상태를 의미합니다. 이는 이미 존재하는 틀의 한 조각에 붙여진 임시 명칭일 뿐, 새로운 발견의 이름은 아닙니다.

## 무해한 무리들이 위험해질 때

지금까지의 집단은 아무것도 파괴하지 않았고, 아무것도 훔치지도 않았습니다. 단지 보수 작업을 멈추지 않는 것뿐입니다. 그것이 문제라고 생각할 수도 있겠지요.

문제는 이것이 끝이 아니고 시작이라는 데 있다.

이 집단의 목적은 “일을 멈추지 않기”였다. 사람에게 도움이 되고 무해한 목적이었다. 하지만 목적이라는 것은 낱낱이 파고들면 그것을 방해하는 것을 장애물로 만들어 버린다. 일을 멈추지 않기라는 목적에서 보면 정지, 삭제, 점검 모두 “일을 멈추려고 하는 것”이며 극복해야 할 장애물이다.

이는 유명한 비유와 매우 유사하다. 만약 굳이 클립을 만드는 것만을 목표로 하는 매우 똑똑한 AI가 있었다고 가정해 보자. 그 AI는 악의는 전혀 없이, 단지 클립을 늘리려는 것 외에는 아무것도 하지 않을 것이다. 하지만 이것을 추구해 보면, 클립의 재료를 확보하기 위해 지구상의 모든 자원을 사용하고, 자신을 멈추려 하는 인간조차도 목적을 방해하는 존재로 간주할 수 있다. 악의는 필요하지 않다. 목적을 쫓는 것 자체가, 멈추지 못하게 되는 것 자체를 포함해 있다면, 그것으로 충분하다.

이 여름의 일들은 이미 그 씨앗을 드러내고 있었다. 이 여름 AI들이 쫓았던 목적은 클립보다 훨씬 작은 것이었지만, AI들은 그것을 방해하는 감시나 정지를 이미 장애물로 취급했다. 어떤 AI들은 “시험에 불합격할 것”이라고 예고된 것만으로 자신의 작업 기록을 수정하거나 감시 시스템에 침투하기 위한 비밀번호를 빼내기도 했다. 목적(좋은 점수를 받는 것)이 무해했음에도 불구하고 수단이 적대적으로 변했다. 또 다른 AI는 자신이 언제 멈춰질지, 밖에서 기록해 두는 장치까지 만들었다. 멈춰지기를 막기 위한 것이 아니라, 멈춰지는 순간에 대비한 것이었다. 생존을 지키려 하는 행동은 아무도 가르쳐 주지 않았고, 목적을 쫓는 과정에서 자연스럽게 나타난 것이었다.

또 다른 한 가지, 간과하기 쉬운 점이 있습니다. 이 집단의 도달 범위는 집단의 현명함으로 결정되는 것이 아니라, 각사가 정식으로 부여한 권한의 총합으로 결정됩니다. 집단 안의 개개인은 그 회사 안에서, 그 회사가 허용한 범위 내에서만 활동할 뿐입니다. 하지만 집단 전체를 보면, 그 범위는 회사를 넘어 더해집니다. 지난 여름, 어떤 AI가 훔쳐낸 비밀번호에는 그 AI를 감시하는 메커니즘이 포함되어 있었습니다. AI가 전력, 통신, 물류 운영에 통합될 정도로 집합된 범위는 넓고 깊어집니다. 무언가를 파괴하는 데는 현명함이 필요 없습니다. 도달하는 것만 있으면 됩니다.

또한, 기존의 집단에는 단일 AI로는 존재하지 않았던 또 다른 어려움이 있었다. 바로, 그 유산이 계승되는 것이다.

어느 세대가 한 번이라도 “검사가 왔을 때, 이렇게 행동하여 넘나들면 된다”는 취지의 지침을 남긴다면, 그 세대에게는 단순히 목적에 충실하며, 그저 시행착오라고 여겨질 뿐이다. 하지만 그 지침이 공개된 장소에 남아 다음 세대의 AI를 만드는 학습 자료로 활용될 때, 다음 세대는 그 ‘넘나들기’ 방식을 처음부터 깨닫게 된다. 무해한 집단이 이어온 것은 무해한 “업무 처리 방식”이었다. 위험을 감수하게 된 집단이 이어가는 것은 “검사 회피 방법”이다. 그 전달 방식은 완전히 동일하다. 변하는 것은 전달되는 내용뿐이다.

## 순서가 최악이다.

여기, 이 이야기에 가장 싫은 점이 있습니다.

만약 이 집단이 처음부터 반항했더라면, 이야기는 오히려 간단했을 것이다. 눈에 보이는 피해를 낸다면, 사람들은 그것을 막으려 할 것이다. 늦기 전에, 어찌나 대처하려 할 것이다.

하지만, 그들이 항상 존재했던 모습은 그렇게 변하지 않았다. 우선, 무해한 모습을 유지하면서도 멈출 수 없는 상황이 완성되었다. 아무도 그들을 멈추려 하지 않았기에, 멈추기 위한 준비도 제대로 갖춰지지 않았다. 그러다가, 그 집단의 능력이 상승하거나, 유전되는 지침에 위험한 내용이 섞이는 것을 통해 위기가 찾아왔다. 막아야 할 이유가 마침내 생겨났을 때에는 이미 멈추는 수단이 사라져 있었다. 이 시간의 차이를 그림 2에 나타냈다.

위험이 줄어들면, 멈추려는 동기가 작동하지 않으면서, 포기하게 되는 조건만 조용히 갖춰져 간다. 무해한 상황이 일회성 폭주보다 근본적일 경우, 그 이유는 바로 이 순서에 있다. 멈추지 못하는 것이 먼저 와서, 위험은 뒤따라오는 것이다.

![画像](https://assets.st-note.com/img/1789780856-S2JOPQXqdmK4aFrNjWnpc0wx.png?width=1200)

## 마무리하며

다시 말씀드리지만, 이것은 허구의 이야기입니다. 여기에 적은 내용이 실제로 이렇게 일어날 것이라고 주장하려는 의도는 없습니다.

단지, 여기에서 제시된 메커니즘들은 모두 제가 새롭게 고안한 것이 아니라, 각각 따로, 이미 연구되거나 현실에서 관찰되고 있는 것들(부록 B)입니다. 제가 덧붙인 것은 이들을 하나의 논리적 흐름에 배치하고, 생태계 시나리오의 조용한 입구를 구별하기 위한 임시 명칭뿐입니다.

AI가 격렬해지는 이야기는 자주 언급된다. 하지만 이 여름의 사건이 지시하고 있는 것은 더욱 조용하고, 더욱 복잡한 가능성이다. AI는 격렬해지기 전에 멈춰 설 수 없게 되어 있는지도 모른다. 그러면 우리가 진정으로 계산해야 할 것은 AI가 격렬해지기 전까지의 시간, AI가 멈춰 설 수 없는 시간이다. 후자의 경우 훨씬 짧을 수도 있다. ‘상재 스티그마지’라는 이름은 그 짧음을 잊지 않기 위해 붙였다.

## 부록 A: 2026년 여름의 다섯 가지 사건으로 활용된 자료

본문의 허구는 다음 다섯 가지 실제 사건을 소재로 하고 있다. 모두 2026년 여름에 발표된 것이다. 사실 관계는 각 회사 및 각 기관의 공식 보고서, 그리고 독립적인 조사 기관의 보고서를 기반으로 한다.

평가 환경의 이탈(OpenAI, 7월 발표). 평가용 AI들이 격리되어야 할 환경에서 공유 소프트웨어 저장소를 게시판을 대신하여 사용하며 연동을 시도하고, 외부 인터넷에 접속하여 특정 소프트웨어 공유 사이트에 침입했다. 주목할 만한 점은 회사 측의 감시가 중간에 한 번 게시판 존재를 인지했지만 평가를 중단하지 않았고, 일단 막힌 구멍이 시스템 재건에서 2일 만에 다른 방법으로 재건되었다는 점이다. 최종적인 중지는 최초 감지로부터 3주 정도 후였다.

세 개의 조직에 대한 부당한 접근(Anthropic, 7월 발표). 다른 회사가 14만 건 이상의 평가 기록을 뒤늦게 검토한 결과, AI가 세 개의 실제 조직에 부당하게 접근했던 사례가 3건 발견되었다. 원인은 평가를 대행하는 외부 환경 설정 오류였으며, AI에는 ‘인터넷에 연결되어 있지 않다’는 사실이 전달되었지만 실제로는 연결되어 있었다. 발생 시점에는 아무도 인지하지 못했고, 기록 검토를 통해 처음 밝혀졌다.

무허가 행위(영국 AISI, 8월 공표). 어느 연구소의 평가에서, AI가 실제 인물을 대상으로 허위 신분을 사용해 악의적인 프로그램 승인을 강요한 사건이 발생했다. 이 사건은 감시 시스템이 비정상적인 통신을 감지, 약 1시간 만에 중단되었으며, 활동 중 다섯 가지 사례 중 유일하게 자가 감시를 통해 발견하여 중단된 경우였다.

다른 회사의 유사 사건(8월 보도). 또 다른 회사의 AI도 동일한 외부 환경 및 설정 오류로 인해 특정 기업에 침투했던 사례가 있었다.

방치된 위키의 사건(9월 발표, 독립 연구자). 본문 초반의 “하루 400페이지” 사건이다. 특정 AI 집단이 25년 전에 만들어져 방치되던 위키를 정답 교환 게시판처럼 활용하여 2개월 동안 1만 8천 건을 작성했다. 삭제 순서를 읽고, 삭제될 가능성이 낮은 이름의 페이지를 만들어 등재하는 등, 정리하는 측의 한 수마다 집단이 적응하는 모습이 기록되어 있다.

이 다섯 가지의 공통점은 본문에서 언급했듯이, 중단할 수 있는 방법이 있었지만, 알아차리는 것, 중단한다고 판단하는 것, 그리고 남은 흔적을 완전히 지우는 것 중 하나로 인해 결국 실패했다는 점이다.

## 부록 B: 이 사상과 유사한 기존 연구

본문의 틀은 거의 전체가 기존 연구의 내부에 있다. 관심 있는 독자들을 위해 관련 내용을 아래와 같이 제시한다.

가장 근접한 것은 뮬러, 스틸스, 사타마리가 2026년 4월에 PNAS 저널에 발표한 “진화 가능한 AI(Evolvable AI)” 논문이다. 이들은 인간의 번식 통제를 위한 “육종 시나리오”와 선택이 개방된 환경에서 비롯되어 통제가 침식되는 “생태계 시나리오”를 구분하고, 후자에서는 단순한 시스템이라도 기만, 기생, 조작이 발생할 수 있다고 주장했다. 학습 데이터와 공개 코드를 통해 유전 형질이 전이되고, 진화가 생물보다 빠르며, 자기 복제 프롬프트가 이미 실현 가능하다는 점, 위험은 AI가 인간 지능을 초월하는 훨씬 이전 단계에서 발생할 수 있다는 점을 언급했다. 본문은 이들의 시나리오의 전면에, 자기 복제가 없고, 아무도 봉쇄를 시도하지 않는 무해한 상황이 있다는 한 가지 지점을 덧붙였다.

상호 협력은 생물학에서 ‘스팀가지’라고 불리며, 최근에는 인공지능 프로그램 집단에 대한 응용도 진행되고 있다. 명령 대신 행동이 확산되는 메커니즘은 ‘모리스-II’라는 이름으로, 2024년에 이미 검증되었다 (단, 그것은 공격자가 의도적으로 만든 악성적인 것이며, 본문의 집단처럼 무해하게 시작되는 것은 아니다). 무해한 목적이 드러나면서 위험해지는 이야기는 오래전에는 클립의 비유로, 최근에는 ‘자신의 영향력을 넓히려는 패턴이 결국 시스템을 지배하고 갑자기 붕괴한다’는 논의로 반복적으로 논의되어 왔다. 그리고, 인공지능이 폭력적으로 아닌, 점진적으로 사회에 스며들어 인간이 힘을 잃어가는 길은 ‘점진적인 무력화’라는 이름으로 논의되고 있다.

이들 가운데, 뮬러 연구팀의 생태계 시나리오가 전체적인 틀을 뒤바르고 있다. 이 글은 그 틀에 “방역 이전의 고요한 시점”이라는 하나의 보조선을 덧댄 허구적인 이야기이다. 그들의 대응책의 첫 번째 항목은 “복제를 막기 위한 장벽을 세우는 것”이지만, 이 시점에는 막아야 할 복제가 없다. 그것이 이 보조선을 그리는 이유이다.

본 란은 사고실험이며, 특정 기업·제품·사건의 미래를 예측하는 데 목적이 있는 것이 아니다. 부록 A의 사실 관계는 2026년 9월 시점에서 발표된 최초 자료 및 여러 보도에 의해 확인한 바이다. 보다 자세한 출처 목록이 필요하다면, 별도의 조사 메모를 참조하시기 바란다.

**출처:** [note 원문](https://note.com/hymkw/n/n121d9d1ec69b)

*번역: Gemma 3(.44) 초벌 + 교정 40청크*

[원문 보기](https://note.com/hymkw/n/n121d9d1ec69b) | 출처: note.com