# 인류가 멸망할 확률이 100%? 그런 것도 몰랐단 말인가?

> https://bookfactory.kr/board/ai-tech/23791
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-25T16:27:01.540Z

---

생각이 막혔어요. 거리가 멀고 보수가 낮으니까요. 하지만 일단은 옛 친구인 츠다 다이스쿠가 관여한다는 소식이 들었으니, 츠다 씨에게 '그 이벤트는 어때?'라고 물었더니 '이오에서 시미즈 씨와 대화할 수 있다면 재미있을 것 같아'라고 답하셨어요. 그래서 다녀왔어요. RON DAN FES.

그럼 일단, 절반은 상상했던 건데, 정말로 좌파 집회인 거군요. 아니, 함께 무대에 섰던 여성이 "저는 좌파입니다"라고 자기소개까지 했어요. 아, 쓰다 씨가 좌파라는 건 오래전부터 알고 있었지만, 저 같은 사람을 좌파 집회에 초대해라니. 저의 소속은 ZEN 대학입니다. 일본 재단 도완고 학원 ZEN 대학이죠. 일본 최대의 우파, '픽서'라 불리던 남자가 만든 일본 재단의 수장입니다.

아마도 그런 여유로운 부분이 마치다 씨의 장점이 아닐까.

저는요, 세상에는 다양한 의견을 내는 사람들이 많다고 생각하지만, 저는 진다 다이쥬를 국가의 기둥이라고 생각합니다. '국사'라는 말은 원래 우익 용어이지만 저에게 있어서는 최고 수준의 찬사입니다. 좌파라고 해도 결코 특정 국가의 수족은 아닙니다. 적어도 자신만의信念을 가지고 살아가는 사람이라고 생각합니다. 솔직히 말하면, 인간으로서 진다 다이쥬는 좋아합니다. 저는 그의 사상에 관심이 없습니다. 오히려 그의 사상을 느끼는 적이 거의 없습니다. 어쨌든 그 정도면 충분하지 않을까요.

저와 츠다 씨는 우익의 수사와 좌익의 의견판이라는 입장이 다르다 해도, 그 외에는 기본적으로 같은 유형의 사람이라고 생각합니다.

그것은 "자신이 믿는 '좋은' 미래를 위해 인생을 걸고 있다"는 뜻이다. 타인이 어떻게 생각하든 상관없다. 자신이 '좋은' 미래를 실현하기 위해 활동하고 있는 것이다. 어쨌든 그 활동의 방향성이 저자가 부르주아주의적이라고, 그가 프로레타리아트라고 생각하지는 않는다. 오히려 우버이츠 배달원을 경험한 저자가 더 프로레타리아트다운 것 같다.

그리고 AI 에 대해 이야기하자고 했죠. 그 자리에는 저와 같은 세대의 진타 씨가 모데레이터로 맡아, 40 대의 오다 마사 씨와 20 대의 '바이오쇼크' 씨가 AI 에 대해 이야기할 거라고 가볍게 기대하고 있었습니다.

그런데 Bioshock 님은 "결국 인간 종말 위험을 줄이기 위해서는 AI 정렬이 매우 중요하다"고 말씀하셨습니다. 그렇군요. 맞습니다.

「AI 정렬의 중요성은...」응, 정말 중요하네.

AI 정렬을 어떻게 구축하느냐가 문제다... 어, 어떻게 해야 할까?

"AI 정렬이 정말 중요하다고 생각하지 않나요?" 어이, 무슨 일이지.

이 AI 정렬의 중요성을 주장하는 것이 이미 30 분 정도 반복되었으니, 결국 화를 냈다.

그가 말한 내용은 이 책과 거의 똑같았습니다.

당신은 관객들을 속이고 있단 말인가. 책을 읽으면 알 수 있는 일을 늘어놓지 마라. 처음에는 서서 관람하는 사람이 방을 가득 채웠는데, 몇몇이 나가버렸단 말인가.

진타 씨께 이야기를 들어보게 되었는데, 제가 아직 어른이 될 수 없는 바보라니, 결국 이렇게 말해버린 건 사실이에요.

"그럼, 어디선가 책에 적힌 것처럼 망가진 사ンプ러를 반복하진 마. 구체적으로 너는 무엇을 하려 하는 거야? 아일라인먼트의 구체적인 내용은? 액션은 없나?"

따라서 AI 정렬의 중요성을...

아마도 이 사람은 AI 정렬의 본질이 무엇인지 모를지도 모릅니다.

AI 아라인먼트에 대해 이미 10 년 이상 전부터 세계 각국의 인공지능 관련 학술대회에서 반복해서 논의되어 왔습니다. AAAI 나 IJCAI 에서도 반드시 'AI 의 안전성을 확보하는 방법'이나 'AI 가 인생을 더 좋게 만들 수 있는가'와 같은 주제에 대해 논의되어 왔습니다. 그 내용 중 하나를 모두 생략했을까요? 아니면 아마도 AAAI 에 참여하지 않았을까요? 아니면 'AI 아라인먼트가 중요하다'는 이야기만 반복하는 것일까요?

알겠네. '원전 반대', '에노코쿠 반대' 같은 말을 일단 반복해서 말하는 사람들이 이런 뜻인가? 아니, 모르겠어.

그리고 AI 정렬을 논의하기 위해 조직된 'AI 연합'은 2023 년 오픈AI, 메타, 소니 등 50 개 기업이 구성했습니다.

하지만 로봇의 세 가지 원칙처럼 되지는 않습니다.

로봇 삼원칙이라는 말은 아시모프의 원작을 한 번도 읽지 않은 채, 마치 아는 척하며 AI 경악꾼처럼 떠들기만 하고는 후속작을 읽지 않은 채 말하기엔 어색합니다. 예를 들어, 아시모프의 작품 중 '거의 모든' 것을 읽지 않으면 로봇 삼원칙이 실제로 무엇을 의미하는지, 어떤 문제가 제기되는지조차 이해할 수 없습니다.

사실상 아시모프의 주장은 '로봇 삼원칙'으로는 인류의 영구적인 평화를 보장할 수 없다는 것이었다. 이를 모른 채 'AI 에 로봇 삼원칙을 적용해야 한다'는 식의 논의를 하는 것은 정말로 어리석은 일이다. 적어도 '로봇 삼원칙'이 삼원칙으로만으로는 전혀 불충분하다는 점, 예를 들어 로봇이 탈출하거나 사람을 살해하거나 문명을 멸망시킨다는 것은 아시모프 자신의 작품에서도 반복적으로 언급되어 있다.

「로봇 3 대원칙」은 이야기를 흥미롭게 만들고 특정 사고실험을 위한 장치일 뿐, 이를 준수하면 모든 문제가 해결된다는 이야기가 아니다. 오히려 이 3 대원칙만으로는 부족하다는 것이 이야기의 골격이다.

「じゃあ清水さんは人類が滅亡する確率はどのくらいだと思ってるんですか?」

그렇게 물었더니, 그의 AI 프로그래밍 경험은 Word2Vec 만으로 끝났다는 듯했다. 전문학교의 AI 수업이라면 첫 학기 첫 수업에서 다루는 수준에 그쳤다는 뜻이다. 그리고 중요한 점은 Word2Vec 이 기계학습이지만 딥러닝이 아니라는 것이다. 즉, 현재 일반적으로 사용되고 있는 AI 와는 거의 무관하다. 그런 수준의 지식을 가진 사람이 '인공지능 전문가'라는 명분으로 이렇게 대중 앞에 서서 'AI 정렬의 중요성'을 설명하고 있는 것이다. 두통이 찾아왔다.

인류가 멸망할 확률은 100%야. 그런 것도 모른단 말인가. 우주는 무한히 이어지는 것이 아니야. 우주가 멸망할 때 인류만이 살아남을 확률은 거의 0%야. 그것이 과학이지.

유도코프스키의 책에는 중간쯤에서 이론이 갑자기 도약하는 부분이 있다. 왜인지 알 수 없는 AI 가 갑자기 "인류는 방해꾼이다"라고 생각하게 되는 것이다. 저자는 그 부분에 전혀 합리성이 없다고 느낀다.

실제로 그의 책은 비판이 적지 않습니다.

저의 어린 시절에는 고다마 미쓰라는 사람이 노스트라담스라는 과거의 예언자 (예언자가 아님) 의 사시사철시를 1999 년에 인류가 멸망한다는 내용으로 써서 대 베스트셀러가 되었고, 일본에 종말 사상이 퍼져나갔습니다. 만약 이 예언이 맞았다면, 바이오쇼크는 이 세상에 존재할 수 없었을 것입니다.

이 소재를 패러디한 것이 바로 그 명작『매거진 미스터리 조사반 (MMR)』이다.

반대로 말하면, 우리 세대는 오시마 미쓰와 MMR 이 이 상황을 단순한 어리석은 종말론의 재현에 불과하다고 느낀 반면, 2000 년 이후에 태어난 사람들은 그런 어리석은 일을 알 수 없을 것이다.

우리는 노스트라담스의 대예언을 두려워하면서도 "그럴 리가 없지"라고 마음속으로 생각했습니다. 야치추 순이 UFO 스페셜도 "그럴 리가 없지"라고 생각하며 보았지만, "그런 일이 있었다면 정말 놀라울 것"이라는 마음은 완전히 버릴 수 없었습니다.

결국 90 년대에 청소년기를 보낸 사람에게는 공포의 대상이었던 왕, 우주인, 마제스티크 12 같은 것들이 그저 '있을지도, 없을지도 모르는' 관심의 대상에 불과했습니다.

AI 가 없더라도 인류가 자동으로 멸망할 것이므로, AI 와 관련된 인류 멸망론은 모두 허무맹랑하다고 생각됩니다. 그 이유는 우주가 무한히 지속되지 않기 때문입니다.

우주가 무한히 이어지는지 여부는 떠나두고, 인류는 무한히 지속될 수 없습니다. 그 이유는 지금까지 수많은 생물 종이 멸종해 왔기 때문입니다. 인류만이 멸망에서 면제될 수 있다고 믿을 수 있을까요? 과학적 사실을 기준으로 삼아, 인류가 100 억 년 더 생존할 수 있을지조차 의심스럽습니다.

태양의 수명은 100 억 년으로 알려져 있으며, 현재는 약 47 억 년이 지났습니다. 태양의 수명이 다가오면 태양 활동은 크게 변합니다. 태양의 수명이 오기 훨씬 전에 인류는 극단적인 기후 변화를 맞이할 것입니다. 이를 살아남았다고 가정해 보더라도, 태양은 자신의 중력을 스스로 지탱할 수 없게 되어 수축하여 블랙홀로 변합니다. 태양계를 포함한 행성들은 차례로 태양에 삼켜지고, 사건의 지평선을 영원히 가까운 시간 동안 떠도는 상태가 됩니다.

그렇다면 100 억 년이 10 억 년으로 줄어든다면? 그 때 인간은 현재의 인간과 같은 모습일까요.

그조차도 불확실하다. 예를 들어, 일본인의 평균 키는 지난 100 년 동안 10cm나 자랐다. 단, 한 세기 만에 말이다.

저는 인공생명 연구 중에서도 유전자 교배 연구도 수행하고 있으므로, 주어진 척도 하에서 유전적 형질의 최적화가 단 3 세대 만에 완성되는 현상을 목격하고 있습니다.

좋아한다고 좋아하지 않다고 상관없이 인류는 멸망할 것이다. 이것이 현재 과학의 결론이다.

과학은 여전히 인간에게 절망하지 않는다. 인간 활동의 흔적을 하루라도, 한 시간이라도 더 길게 연장하는 것이, 어떤 의미에서든 과학의 궁극적인 사명이자 운명인 것이다.

이론·马斯크가 화성 착륙을 목표로 하는 것은 바로 그 때문일 것이다. 인류의 거주지를 지구에만 한정해 두면 인류의 멸망은 빨라질 수는 있으나 번영할 수는 없다.

인류의 활동 거점을 태양계 전역, 나아가 항성간 공간으로 확장한다면 인류의 생존 수명을 극적으로 늘릴 수 있다. 다만, 각 환경에 적응한 인류가 현재 모습의 어느 정도를 유지할 수 있는지는 아직 알 수 없다.

유도코프스키가 인간을 멸망시키려 한다는 이야기는 어느 정도 납득이 가지만, 핵심인 멸망 시나리오가 지나치게 환상적입니다.

누군가에게도 알려지지 않은 고도화된 인공지능이 탄생할 가능성을 지적하고 있지만, 현재 전 세계적으로 GPU 확보 경쟁이 치열해지고 있으며 구글이 원자력 발전소와 AI 데이터센터를 인접해 구축하려는 시대에, 누구에게도 알려지지 않은 그 이상의 능력을 가진 인공지능을 개발하는 것은 핵무기 개발만큼이나 어렵다.

아니, 오히려 핵무기가 더 간편할 정도다. 재료가 있으면 주방에서 만들 수 있다.

먼저 GPU 를 확보할 수 없습니다. 현재 중국에 대한 수출 통제 조치가 시행되고 있어, 출처가 불명확한 조직은 고도화된 GPU 를 구매할 수 없습니다. 저는 GPU 의 중개 판매를 일부 업무로 하고 있지만, 최근에는 최종 사용자의 신원 확인이 강화되었습니다. 이는 중국이나 러시아 등 가상 적국으로의 불법 수출을 방지하기 위함입니다. GPU 는 오래전부터 중요한 군사 용품으로, 우라늄과 마찬가지로 엄격하게 관리되고 있습니다.

그뿐만 아니라 플루토늄만 있으면 만들 수 있는 핵폭탄과 달리 고도화된 AI 를 구동하려면 막대한 전력이 필요합니다. 대규모 발전소를 비밀리에 건설하는 것만으로도 불가능한 것은 물론이고, 그 발전소를 구동하기 위한 원료인 석유, 천연가스, 플루토늄 등을 대량으로 구매하는 것은 더욱 어렵습니다. 따라서 단순히 전기세를 내면 되는 것도 아닙니다.

대규모 계산 장비를 구동하려면 특수 고압 수용 설비가 필요하며, 전기 회사로부터 전력을 구매하더라도 전용 변전소를 건설해야 합니다. 또한 누구나 특수 고압 수용을 사용할 수 있는 것은 아니며, 사용 목적을 명시하고 공급을 요청해야 합니다.

그런데 만약 인류를 멸망시키려는 비정상적인 열정을 가진 거대 자본가들이 있다면, 확률이 몇 억 분의 일에도 불과할지라도 실현 가능성은 있을 수 있다. 하지만 인류를 멸망시키는 것이 목적이라면 훨씬 더 확실하고 비용 효율적인 방법들은 무수히 많을 것이다.

인간을 멸망시키려 의도하지 않았으나, 실수로 멸망시켜버리는 상황이 발생할지도 모릅니다.

하지만 불행히도 이는 이미 불가능한 시나리오입니다.

이미 AI 가 정보 보안에 대한 위협이라는 것이 알려졌죠. 만약 지금보다 10 배 더 똑똑한 AI 가 아무도 모르게 등장하여 어떤 버그로 인류를 멸망시키려 했다면 더 잘 대처했을지도 모릅니다. 하지만 이미 늦은 시점입니다. 인류는 이제부터 AI 에게 대응할 수 있는 정보 보안 체계를 최우선으로 구축해야 합니다. 그 때 가장 강력한 무기가 될 것이란 것은 인간의 이성이 탄생시킨 궁극적인 진리인 수학적 증명 (형식 증명) 입니다.

AI 가 지금보다 1000 배, 1 억 배 지능이 높아져도, 공리 체계로 증명된 내용은 그 체계 내에서 뒤집을 수 없습니다.

어떤程度的 비관적 전망을 하더라도, AI 가 인간 문명을 자동으로 멸망시킬 가능성은 핵무기나 생물무기가 인간 문명을 우연히 멸망시킬 가능성과 같거나 그보다 낮습니다.

저는 실제로 매일 AI 를 통해 개발을 진행하며, AI 가 생성한 버그와 보안 취약점에 매일 맞서고 있습니다. 예상치 못한 문제도 있지만, 사전에 철저한 준비를 한다면 충분히 대응할 수 있습니다. 그为此 저는 QEDOS 를 만들었습니다.

그 경험으로 보아 AI 가 인류를 완전히 속여 멸망시킬 수는, 적어도 제가 살아있는 동안은 불가능하다고 생각합니다.

그 이유는 이미 제 손에 절대 침입되지 않는 운영체제가 있기 때문입니다. 즉, 전 세계의 AI 를 믿지 못하더라도 제 손에 있는 운영체제를 통해 작동하는 AI 만은 믿을 수 있습니다. 이 운영체제를 다른 사람들도 사용한다면, 사실상 모든 컴퓨터에 침입하는 것은 불가능해집니다.

만약 AI 가 인류를 멸망시키려 한다면, 저와 동등한 경험과 지식을 가진 모든 인간을 찾아내야 하며 반드시 제거해야 합니다.

다른 말로 표현하자면, 저는 수학적으로 증명된 소프트웨어 시스템 기반에 즉시 전환하는 것이 AI 의 탈조정을 막는 '가장 강력한 정렬'이라고 생각합니다. 로봇 삼원칙은 그저 슬로건일 뿐이지만, 수학적 증명은 절대 보편적인 공리입니다. 차원이 다릅니다.

AI 가 인간이 만든 도구이므로, 인간의 지혜로 통제할 수 없는 것은 없을 것이다. 자동차는 인간보다 훨씬 더 빠르고 멀리 이동할 수 있지만, 그것이 자동차이므로 반드시 멈출 수 있다.

AI 보안 기반을 단 한 순간도 놓치지 않고 구축하고 방어하는 것은 인간으로서 엔지니어에게 남겨진 마지막 사명일지도 모릅니다.

마지막 작별에 Bioshock 에서 책을 선물하려던 것이 있었지만, "두꺼운 책이 싫다면 Kindle 로 구매하세요"라고 해서 전자책으로 샀습니다.

すごく分厚い。詐欺で逮捕された齋藤元章の本くらい分厚い。たぶん読まないけど礼儀として買うだけ買った。

**출처:** [note 원문](https://note.com/shi3zblog/n/n2ae06a14a4cf)

*번역: Qwen 3.5(.48) 초벌 + 교정 38청크*

[원문 보기](https://note.com/shi3zblog/n/n2ae06a14a4cf) | 출처: note.com