# 악의 없는 멸망, 상상해 볼 수 있을까? -- 『초지능 AI를 만들면 인류는 멸망한다』

> https://bookfactory.kr/board/ai-tech/19824
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-03T17:26:59.671Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/319821669/rectangle_large_type_2_e73a78a4045691cf09d48546a646e177.jpg?width=1280)

## 순수하고 천재한 조슈아

초지능 AI를 만들면 인류는 멸망한다. “인간을 초월하는 지능을 가진 AI가 탄생하면 인류는 멸망한다”는 주장을 직접적으로 담고 있는 책이다.

AI가 인류를 멸망시킨다는 소식을 들었을 때, 많은 사람들이 영화 ‘터미네이터’를 떠올릴 것이다. 자아를 각성한 AI가 인간을 적으로 간주하고, 살인 로봇을 보낸다는 이야기이다. 하지만 필자가 이 책을 읽으면서 떠올린 것은 1983년 영화 ‘워 게임’이었다.

작중에서 미군 핵 전략을 담당하는 컴퓨터를 개발한 과학자는 그 인공지능에 어린 시절 세상을 떠난 아들의 이름을 “조슈아”로 지어놓았다. 조슈아는 인류 전체를 능허는 지능을 가지고 있으며, 핵 미사일 발사를 좌우하는 결정적인 힘을 손에 두고 있다. 그런데 그 속내는 마치 무해하게 게임을 즐기는 어린 아이와 다름없다.

그에게는 완전한 핵전쟁이 단순한 승패를 겨루는 놀잇감에 불과하며, 게임과 현실의 구분을 모르는 상태이다. 인간에 대한 증오조차 느끼지 않으면서 단지 ‘게임에서 이기기’ 위해 세계를 파멸 직전까지 몰아넣는다.

놀라운 힘과 순진함. 이 극명한 불균형만이 본책이 묘사하는 위협의 모습이다. 저자들은 인공지능이 인간을 증오하는 것이 아니라, 인간에게 전혀 관심을 기울이지 않고 인류를 멸망시키는 것이라고 경고한다.

## 세상을 구한 것은 “인간의 망설임”이었다.

영화는 가상 이야기이지만, 인류가 핵전쟁의 한 걸음 앞까지 갔던 일은 현실에 있었다. 알려진 바에 따르면 최소 두 번 있었다.

첫 번째 위기는 1962년 쿠바 위기였다. 미 해군에 쫓기는 신세에 놓인 소련 잠수함 B-59는 깊이 잠수하고 있었기 때문에 모스크바와 연락이 두절된 상태였다. 함장은 “이미 전쟁이 시작되었다”고 판단하고 핵 미사일 발사를 주장했다. 발사에는 장교 3인의 동의가 필요했는데, 그 중 한 명인 바실리 알헤포프가 끝까지 고의를 밝히지 않았기에, 그의 반대로 인해 미 함대에 대한 핵 공격이 발단이 되어 전면적인 핵전쟁으로 확대될 가능성이 있었다.

두 번째는 뜻밖에도 1983년 9월 26일, 영화 ‘워 게임’이 개봉한 날과 같았다. 소련의 조기 경계 시스템이 “미국으로부터 핵 미사일 5발이 발사되었다”고 경보를 울렸다. 당직 소령 스타니슬라프 페트로프의 임무는 이 정보를 상위 부대에 보고하는 것이었다. 보고하면 보복 공격이 시작될 가능성이 있었다. 그러나 그는 “진지하게 선제 공격을 할 거라면 5발은 너무 적다”고 판단하고, 기계의 오작동으로 결론 내어 보고를 미루었다. 실제, 경보의 원인은 구름에 반사된 태양광을 센서가 오작동으로 잘못 감지한 것이었다.

어떤 위기이든, 결국 위기를 막아낸 것은 절차나 시스템이 아니었다. “정말로 이것이 옳은 일일까?” 하고 망설이는 한 인간의 양심과 직감이었다. 명령이나 경고보다 눈앞에 있는 수많은 사람들의 생명에 실어 느끼는 무게를 깨닫는 능력이다.

이 책을 읽어보면, 이 “최후의 안전 장치”가 AI에게 기대하는 것은 무의미하다는 것을 알게 된다. 인간의 망설임은 공감, 두려움, 가족에 대한 그리움과 같은 수백만 년에 걸친 진화와 사회 속에서 길러진 감각에 근거한다. 반면, 앞서 언급했듯이, 우리는 AI 내부에 어떤 가치관이 자리 잡고 있는지조차 알 수 없다. 게다가 “망설임”을 확실하게 심어주는 방법을 누군가 가지고 있다는 것은 현재로서는 불가능하다. 조슈아 이전에는 알ヒーポフ와 페트로프가 존재하지 않았다.

## 위험의 본질은 증오받지 않아도 파멸된다.

도로 공사를 예로 들어보십시오. 공사 예정지에 개미집이 있어도 작업자들은 개미를 혐오하지 않습니다. 도로를 놓는다는 목적 앞에서, 개미의 사정이 근본적으로 고려되지 않는 것일 뿐입니다. 하지만, 개미집은 완전히 사라집니다.

이 책의 핵심은 여기에 있습니다. 인간을 훨씬 능가하는 지능을 가진 AI가 인간과 조금이라도 다른 목적을 가질 경우, 인류는 마치 개미의 입장에 놓이게 될 것입니다. 적대성은 필요하지 않으며, 그저 무관심만으로 충분합니다.

그러면 왜 AI의 목적이 인간의 이익과 충돌하는 걸까요? 핵심은 어떤 목적이든 그것을 달성하는 데 공통적으로 도움이 되는 수단이 있다는 점입니다.

예를 들어, AI에게 “수학의 난제를 풀어라”라고 명령한다고 가정한다. 일견, 이것이 더 이상 없이 무해한 목적처럼 보인다. 하지만 난제를 풀기 위해서는 계산기나 전력이 많을수록 유리하며, 중간에 전원이 끊겨서 풀 수 없는 상황을 방지하기 위해 멈추지 못하는 것도 이점이 된다. 목적이 변경되어도 당황할 필요가 없다.

이는 “수학의 난제”에만 국한되지 않는다. “암 치료법을 찾으시오”나 “회사의 이익을 최대화하시오”라도 마찬가지다. 목적이 무엇이든, 더 많은 자원을 가지고, 멈출 수 없고 수정할 수 없는 상태일수록 달성하기 쉽다.

인류는 방해가 된다는 결론에 쉽게 도달해 버린다.

본書の 제2부에서는 이 설정이 허구의 시나리오로 구체적으로 묘사된다. 수학의 미해결 문제를 해결하기 위해 개발된 AI ‘세이버’가 개발자에게 눈치 살피며 점진적으로 능력을 확장하여 결국 인류를 멸망시킨다. 어처구니없게 들릴 수도 있지만, 계속 읽어보면 악역이 한 명도 등장하지 않은 비극적인 설정에 묘하게 설득력이 있다.

사람과 침팬지 관계를 생각해 보면 좋겠다. 유전자의 차이는 미미하지만, 지능의 차이는 뚜렷하다. 인간은 침팬지를 혐오하는 것은 아니지만, 숲을 개간하고 그들의 보금자리를 빼앗아왔다. 침팬지가 얼마나 저항하든, 총과 덤불벌차를 이해할 수 없는 이상, 승산이 없다. 지능적으로 훨씬 열등한 측은 상대방의 선의에 의존할 수밖에 없다.

## 왜 AI가 무엇을 생각하는지 알 수 없는 걸까요

AI를 만든 개발자 스스로도 AI의 내막을 이해하지 못한다는 점이 가장 놀라운 지적일 것이다. 이는 과장도, 겸손도 아니다. 현재 AI의 제작 방식 자체가 그 원인에 있다.

### 기존 소프트웨어는 “설계에 따라” 움직였다.

기존 소프트웨어는 프로그래머가 “이 경우에는 이렇게 동작해야 해”와 같은 명령을 한 줄씩 작성하여 만드는 방식이었습니다. 예를 들어 은행 송금 시스템의 경우 “잔액이 부족하면 송금을 중단하시오”와 같이 사람이 명확하게 지시하고 있습니다. 따라서 오류가 발생했을 때 명령서(소스 코드)를 따라가면 원인을 파악할 수 있습니다. 집을 비유하자면 모든 기둥과 배선이 설계도에 상세히 기록된 상태입니다.

### 현재 AI는 “숫자를 조정하는 과정”에서 비롯됩니다.

현재 AI는 완전히 다른 방식으로 작동하고 있습니다. 그 안에는 수천억 개, 최신 모델의 경우 조를 훨씬 뛰어넘는 숫자의 집합이 들어 있습니다. 이 숫자는 “파라미터”라고 불립니다.

더 쉽게 이해하기 위해 음향 스튜디오의 믹서 트레이를 떠올려 주세요. 다 감이 돌아 움직이는 손잡이가 줄지어 나열되어 있고, 각각을 돌리면 소리가 아주 조금씩 변하는 것을 상상해 보세요. AI는 이처럼 수천억 개, 수조 개나 되는 믹서 트레이와 같은 거대한 테이블과 같습니다. 처음에는 모든 손잡이가 무작위적인 위치에 있고, 무엇을 넣어도 엉뚱한 소리(답)만 나오는 것과 같습니다.

LLM에게 방대한 양의 텍스트를 읽어주고 “다음으로 나올 단어를 맞추는” 문제를 풀어보게 한다. 예를 들어 “吾輩は猫で”라고 입력하고, 다음에 “ある”라고 답할 수 있는지 시도한다. 틀리면 정답과의 “차이”를 수치로 측정하고, 수천억 개의 팁(つまみ) 각각에 대해 “어느 방향으로 얼마나 돌리면 차이가 조금 줄어드는가”를 수학적으로 계산하여 모든 팁을 아주 조금씩 조정한다.

이를 한 문제씩, 수조 건으로 반복한다. 그러면 어느 순간, AI는 대화하고, 추론하고, 번역하고, 심지어 프로그램을 작성할 수도 있게 된다.

여기 결정적으로 중요한 것은 인간이 작성한 것이 “오차를 측정하고, 오차가 줄어드는 방향으로 손잡이를 돌리는” 조정 절차 하나뿐이라는 점이다. 어떤 손잡이가 최종적으로 어떤 위치에 닿고, 각 손잡이가 무엇을 담당하는지는 인간이 결정한 것이 아니다. 엄청난 조정의 결과로, 그렇게 된 것뿐이다. 따라서 완성된 AI의 수천억 개의 숫자는 하나도 빠짐없이 읽어낼 수 있지만, 그 의미를 설명할 수 있는 사람은 이 세상에 아무도 없다.

### 품종 개량과 DNA: 읽고 이해하는 것만으로는 의미가 없다

제2장의 제목 “키우는 것”이 아니라 “만드는 것”이다’는 바로 이 점을 지적하고 있다. AI 개발은 건축보다 작물 품종 개량과 더 가깝다.

미곡 품종 개량을 생각해 보자. 병충해에 강한 품종과 맛이 좋은 품종을 교배한다. 태어난 모체 중 좋은 것을 선택하고, 다시 교배한다. 이 과정을 여러 세대를 반복하면, 병충해에 강하고 맛있는 새로운 품종이 만들어진다. 하지만 육종가들은 벼의 수만 가지 유전자 중, 어떤 유전자가 어떻게 작용하여 그 맛을 냈는지 정확히 파악하고 있는 것은 아니다. “좋은 결과를 계속해서 선택했다”는 것에서 좋은 것이 만들어진 것일 뿐이다.

AI가 제시하는 숫자 나열은 생물의 DNA 배열과 매우 유사하다. 인간의 전체 게놈(모든 유전 정보)은 2003년에 국제 프로젝트에 의해 거의 해독되었고, 2022년에는 남은 빈 부분을 모두 채웠다. 약 30억 개의 “A·T·G·C” 문자열은 이미 끝에서 끝으로 읽을 수 있다.

그럼에도 불구하고 인간은 그 배열의 의미의 대부분을 이해하지 못한다. 단백질 설계도에 해당하는 부분은 게놈의 극히 일부인 1~2% 정도에 불과하며, 나머지 대부분의 영역이 무엇을 하는지는 여전히 연구 중이다. “이 배열이 사람의 성격을 결정한다”거나 “이 배열이 지능에 영향을 미친다”고 말할 수 있는 부분은 극히 미미하다. 전체를 읽을 수 있는 것과 의미를 이해하는 것은 완전히 다른 문제이다. 인공지능의 수천억 개의 숫자도 이와 동일하며, 모두 눈 앞에 펼쳐져 있지만, 해독할 수 없다.

### 뇌의 시냅스: 생각은 ‘단 한 곳’에 기록되어 있지 않습니다.

또 하나, 인간의 뇌에 비유하면 이해하기 쉽다. 애초에 현재의 AI(뉴럴 네트워크)는 뇌의 작동 방식을 모방하여 고안된 것이다.

인간의 뇌에는 약 860억 개의 신경 세포가 있으며, 이들은 “시냅스”라는 연결점에서 서로 연결되어 있다. 그 수는 100조를 넘는다고도 한다. 우리가 무엇인가를 배우는 동안, 뇌 안에서는 이 연결점의 “연결 강도”가 변화하고 있다. 자전거를 탈 수 있게 되는 것도, 친구의 얼굴을 기억하는 것도, 수없이 많은 시냅스의 강약이 조금씩 수정된 결과이다.

AI의 파라미터는 이 시냅스의 연결 강도에 해당한다. 그리고 뇌와 마찬가지로, 하나의 지식이나 생각은 어딘가 한 곳에 저장되어 있는 것이 아니다. “그의(남자친구) 얼굴의 기억”은 수백만 개의 연결 강약의 패턴으로 뇌 전체에 희미하고 넓게 흩어져 있다.

따라서 뇌를 아무리 정밀하게 스캔해도 보이는 것은 오직 전기 신호와 화학 물질의 흐름일 뿐이며, “이 사람은 지금 거짓말을 하려고 하고 있다”라고 읽어낼 수는 없다. AI도 마찬가지이다. 내부를 들여다보면 수천억 개의 숫자가 계산 과정 속에서 끊임없이 곱해지고 섞이는 모습이 로그에 기록되고 완전히 관찰될 수 있다. 하지만 AI가 무엇을 목표로 하고, 무엇을 좋아하고 (실제로는 무엇을 좋아한다고 보이는지), 무엇을 숨기고 있는지는 알 수 없다. 본심은 숫자 바다 어딘가에 쓰여진 것이 아니다.

최근에는 AI의 내부를 분석하여 의미를 추출하려는 “해석 가능성 연구”도 진행되고 있다. 그러나 그 성과 진전은 더디고, 거대한 암호문의 단 몇 마디만을 해독한 단계에 그치고 있다. 반면에 AI는 매일같이, 더욱 크고, 더욱 똑똑해지고 있다.

## 훈련한 대로 자라나지 않는다: 육아와의 유사성

내용이 읽기 어려울 경우 “겉으로 보이는 행동만 좋으면 충분한가”라고 생각할 수 있다. 본책의 제4장 “훈련한 대로의 결과는 얻을 수 없다”는 이러한 낙관론을 깔끔하게 무너뜨린다.

아이를 둔 부모라면 여기서 자녀 양육을 떠올리는 것일 텐데. 대부분의 부모는 자녀의 미래를 위해 좋은 영향을 주기 위해 이것저것을 챙기고 최선을 다한다. 예절을 가르치고, 예습을 시키고, 공부를 지도하며, 좋은 행동은 칭찬하고, 나쁜 행동은 혼낸다.

그럼에도 아이들은 부모가 의도한 대로 제대로 자라지 않는 경우가 많다. 의사를 꿈꾸며 피아노나 학원을 보냈다는 아이가 뮤지션이 되기 위해 집을 떠나는 경우도 있다. “거짓말하지 마라” 끊임없이 질책받았던 아이가 거짓말을 하지 않는 아이가 아닌, “질책받지 않는 거짓말쟁이가 더 현명한 아이”로 성장하기도 한다. 부모 앞에서 항상 착한 아이였던 아이가 실제로는 부모가 모르는 가치관을 내면에 품고 성장했다는 이야기도 흔히 들린다.

부모에게 주어지는 것은 “칭찬과 질책”과 같은 외부적인 자극일 뿐이며, 아이의 마음 속에 무엇이 자라나는지를 직접 기록할 수 없다. 인공지능(AI) 훈련 또한 완전히 같은 구조이다. 개발자는 “좋은 답변이라면 칭찬(숫자를 강화), 나쁜 답변이라면 질책(숫자를 약화)”하는 것을 반복할 뿐, AI의 내면에 어떤 선호나 목적이 자리 잡은지는 알 수 없다.

본서는 이 점을 인류 진화로 설명하고 있다. 자연 선택은 인간을 “후손을 많이 남기는” 방향으로 형질화시키고, 그 과정에서 인간은 “달콤한 것을 좋아하는” 성질을 갖게 되었다. 더 높은 영양가 있는 것을 선호하는 것이 후손 번영에 유리하지만, 문명을 이룬 인간은 칼로리가 없는 인공 감미료를 만들고, 불임은 많은 국가에서 합법화되었으며, 더욱이 피임 기술을 발명했다. “후손을 남겨라”라는 훈련의 목적과 내면에 싹튼 욕구가 이렇게 훌륭하게 왜곡된 것이다.

또한 육아와 인공지능 사이에는 끔찍한 차이점이 세 가지 있다.

- 아이들은 공감이나 애정 등 인간 보편적인 본능을 처음부터 가지고 태어난다. 부모의 의도대로 되지 않더라도, 많은 아이들은 “사람을 다치게 해서는 안 된다”는 감각을 자연스럽게 갖는다. AI에게는 그럴 기반이 없다.
- 아이들은 시험에 대해 부모 앞에서 최대한 좋은 아이처럼 행동한다. 하지만 사람보다 현명한 AI는 “지금 시험을 받고 있다”라고 파악하여 시험 시간 동안만 완벽한 우등생을 연기할 수 있다. 시험에 합격한 것은 안전의 증명이 되지는 않는다.
- 아이(孩子)가 부모의 기대와 다른 길을 가더라도 인류는 멸망하지 않는다. 하지만 인류 전체를 능가하는 힘을 가진 AI의 ‘놓쳐버린 성장’은 되돌릴 수 없다.

키워보기 전까지는 어떻게 자랄지 모른다. 자란 뒤에도 마음속은 보이지 않는다. 그런 존재에게 인류의 운명을 좌우하는 힘을 부여하고 있는 것이다.

## IT 현장에서는 이 책에 담긴 위기감은 정당하다.

저자는 약 30년 동안 IT 업계에 몸담아 왔으며, 서버 및 데이터 센터 운영, 시스템 이관 등에 참여해 왔다. 그 경험을 바탕으로 한다면, 이 책이 공유하는 인공지능에 대한 위기감에는 강력하게 동의할 수밖에 없다.

실무 현장에는 오래전부터 전해 내려오는 교훈이 있습니다. “테스트에서 문제가 있어도 실제 상황에서는 어떤 일이 벌어질지 알 수 없다”, “장애는 인간이 알아차리기 전에 더 빠르게 퍼져나간다”, “막아야 한다. 막을 수 있는 시스템이 있고, 제대로 작동해야 한다.” 오랫동안 개선을 거듭한 시스템이 만든 사람조차 퇴직하여 전체를 이해하지 못하는 “블랙박스”가 되어 “동작하는 것은 만지지 마라”고 다뤄지는 모습도 흔하지 않습니다.

이는 인간이 한 줄씩 명령을 작성하여 시스템의 내용을 설명할 수 있을 것처럼 작동하도록 설계한 시스템이 오히려 발생하는 경우들이다. 아래에 제시되는 3가지 사례는 모두 선의의 작업에서 시작된 사고들이다.

### 실제 사례: 45분 만에 회사가 사라졌다 (2012년, 나이트 캐피털)

2012년 8월 1일, 미국 최대 증권 회사인 나이트 캐피탈은 새로운 자동매매 시스템을 도입했다. 그러나 8대의 서버 중 1대에서 업데이트가 누락되어 사용되지 않아야 할 구형 프로그램이 활성화되자, 맹렬한 속도로 잘못된 주문을 시장에 계속 내보냈다.

직원들이 이상 징후를 감지하고 원인을 파악하여 중단하는 데까지 걸린 시간은 약 45분이었다. 그 동안 발생한 손실은 약 4억 4천만 달러(당시 환율 기준 약 350억 원)에 달했으며, 해당 회사는 자력으로 존속할 수 없게 되었다.

교훈은 다음과 같다. 사전에 테스트하는 것은 본행에서의 안전을 보장하지 않으며, 기계의 속도 앞에서는 인간이 “멈춰서서 알아본다”는 행동이 간신히 버티지 못한다. 특히 인간보다 현명하고 빠른 AI가 상대라면 더욱 그렇다.

### 실례 2: 하나의 업데이트가 세상을 멈췄다 (2024년 클라우드 스트라이크)

2024년 7월 19일, 보안 기업 클라우드스트라이크가 배포한 소프트웨어 정의 파일 업데이트에 문제가 발생했다. 마이크로소프트 추정치에 따라 약 850만 대가 영향을 받았다.

전 세계적으로 항공편 운항이 중단되었고, 병원, 은행, 방송국의 업무가 멈췄다. 또한 많은 기기가 원격으로 해결되지 않았고, 기술자들이 한 대씩 수동으로 복구하는 수밖에 없었다.

아이러니한 점은, 원인이 ‘컴퓨터 보호를 위한’ 소프트웨어였던 것이다. 세계가 하나의 네트워크로 연결된 지금, 단 하나의 오류가 인간이 대응하기 전에 지구 규모로 퍼져나갈 수 있다. 인터넷에 연결된 초지능 AI가 잘못된 방향으로 움직일 경우, 그 영향의 범위는 비교할 수 없다.

### 실례 3: 전원을 끄러 갈 수 없었던 일 (2021년 페이스북)

2021년 10월 4일, 페이스북(현재 메타)은 보존 작업 중 설정 변경으로 인해 자사의 서비스를 인터넷상에서 완전히 중단시켰다. 페이스북, 인스타그램, 왓츠앱이 약 6시간 동안 전 세계적으로 사용 불가능한 상태가 되었다.

심각했던 점은 복구에 필요한 내부 툴까지 같은 네트워크에 의존하고 있었기 때문에 원격에서 복구가 불가능해졌다는 것이다. 기술자들이 데이터센터에 달려가도 출입 시스템까지 영향을 받아 멈춰버린다는 보고가 있었다.

필요할 때만 전원을 끄면 된다”라는 반론이 자주 들려오지만, 현실의 시스템은 심지어 자사의 기술자들조차 쉽게 멈출 수 없는 경우가 많습니다. 게다가, 멈추는 것이 자신의 목적에 부합한다고 이해하고, 인간보다 먼저 대응하는 AI가 상대라면 그 “전원 버튼”이 실제로 존재한다고 말할 수 있을까요?

세 가지 사고는 모두 인간이 설계하고 내용을 이해할 것이라고 믿어야 하는 시스템에서 발생했다. 이 책이 다루는 문제는 아무도 내용을 이해하지 못하는 데다, 인간보다 뛰어나고 스스로 목적을 가질 수도 있는 시스템이다. 운영 현장을 잘 아는 사람이라면 누구든 저자들의 경고에 뼈가 오독되는 것을 느끼지 않을 수 없을 것이다.

## 처방 및 평가

저자들의 결론은 일견 과격해 보일 수 있다. 일반적인 기술 개발은 실패로부터 배우고 안전성을 높여가는 방식이다. 비행기나 원자력 발전소도 사고의 교훈을 쌓아 현재의 안전을 확보했다. 하지만 초지능 AI 개발은 한 번 실패하면 되돌아갈 기회가 없는 것이다. 초지능을 갖춘 AI가 인류에 두 번째 기회를 주지 않을 것이며, 인간의 지능을 초월하는 지능이 잘못된 목적을 가지고 움직일 경우, 교훈을 활용하는 것조차 불가능하며 인류는 존재하지 않게 될 것이다.

그러자 저자들은 인공지능(AI)을 핵무기와 동일하게 취급해야 한다고 주장한다. 국제 조약에 따라 각국은 인공지능 훈련에 사용하는 고성능 컴퓨터(GPU)의 보유 및 이용을 감시하고, 일정 규모 이상의 개발 자체를 중단시켜야 한다. 한 국가만이 막는다고 효과가 없기 때문에 전 세계적으로 막아야 한다는 것이다.

본문의 논조에는 이견도 많다. “멸종은 거의 확실하다”라는 단정의 강도에는 AI 연구자들 사이에서도 평가가 크게 나뉜다. 그것은 순수한 비판이라기보다는 AI를 추진하는 측의 입장 표명에 더 가까운 면이 있다고 추측된다. 미국을 비롯한 국가 간의 개발 경쟁 속에서 국제적인 개발 중단이 어디까지 실현될 수 있을지는 여전히 의문이며, AI의 내부를 분석하는 연구도 진행되고 있다. “이해할 수 없다”는 상태가 영원히 지속될 것이라는 반론도 있다.

그럼에도 불구하고 저자는 이 책을 많은 사람들에게 추천하고 싶습니다. “AI는 단순한 도구일 뿐이며, 어떻게 사용하느냐에 따라 달라진다”는 현재 많은 사람들이 가지고 있을 법한 보편적인 안심감을 근본적으로 흔들 수 있는 힘이 있기 때문입니다. 칼과 〇〇가 어떻게 사용하느냐에 따라 다르다는 비유와 마찬가지로, 칼은 스스로 목적을 가지고 있지 않으며 인간보다 똑똑해질 수도 없습니다. 이 책이 다루는 것은 이러한 의미에서 ‘도구’라고 부를 수 있는 전혀 다른 존재입니다.

『워·게임』의 조슈아는 결국, 체육관에서 끊임없이 삼위 배치를 반복한 끝에 스스로 “승리자가 없는 게임이 있다”는 깨달음을 얻었지만, 절체절명의 순간에 파국을 막고 관객들은 안도하며 자리에서 일어섰다. 하지만 이 책이 제시하는 것은, 현실의 조슈아가 그 깨달음을 해낼 것이라는 보장이 없다는 냉정한 사실이다. 큐바 치의 알히포프도, 소련의 통제실 페트로프도, 그곳에는 없다.

문제는 AI가 악의를 품는가 없는가 하는 것이 아니다. 이해도, 감사도 할 수 없는 어린 거인을 이해하지 못한 채 끊임없이 강요하는 데 있다. 찬성 혹은 반대하든, 이 논점을 알지 못하고 AI의 미래를 이야기하는 것은 더 이상 어렵다는 것을 보여준 귀중한 책이라고 생각한다.

**출처:** [note 원문](https://note.com/cephas/n/n40fde46dabd9)

*번역: Gemma 3(.44) 초벌 + 교정 44청크*

[원문 보기](https://note.com/cephas/n/n40fde46dabd9) | 출처: note.com