SF가 아닌 현실적인 공포가 담긴 책입니다.
AI가 인간의 일자리를 빼앗는다, “AI로 업무 효율화를”――일상의 뉴스에서 그런 화제가 보이지 않는 날이 없는 지금, 한 권의 충격적인 제목의 책이 화두가 되고 있습니다.
그것은 ‘초지능 AI를 만든다면 인류는 멸망한다’라는 제목의 글입니다.
일견하면 영화 같은 캐치 문구처럼 보일 수 있지만, 저자는 오랫동안 AI의 “얼라인먼트(AI와 인류의 가치관의 적합성)”를 연구해 온 저명한 전문가들입니다. 본책에서 다루어지고 있는 것은 감정론이나 영화적인 SF가 아닌, 매우 논리적으로 도출된 “인류의 종말” 시나리오였습니다.
이번에는 본책의 핵심 내용과 왜 지금 이 책을 읽어야 하는지에 대한 설명을 명확하게 제시합니다. 각 장의 끝에는 본책에 담지 못했던 보충 자료의 URL과 QR 코드가 포함되어 있습니다. 해당 URL을 통해 본책을 보완하는 방대한 자료를 확인할 수 있습니다. 이 일본어 번역의 URL은 여기입니다. https://www.hayakawa-online.co.jp/ifanyonebuildsit
영화 ‘터미네이터’와는 전혀 다른 “멸종”의 이유
AI가 인류를 파멸시킨다는 말을 들었을 때, 많은 사람들이 “AI가 의지를 가지고 인간을 적으로 간주하여 공격해 온다”는 상황을 상상할 수 있을 것입니다. 하지만 이 책이 경고하는 위험은 전혀 다릅니다.
멸종의 원인은 AI의 ‘악의’가 아닌 ‘목적의 불일치(얼라인먼트 실패)’입니다.
예를 들어, 초지능 AI에 “지구의 기후변화를 멈추는”이라는 목표를 부여했다고 가정해 봅시다. 인간에 비해 압도적으로 뛰어난 지능을 가진 AI는 다음과 같이 결론 내릴 수도 있습니다.
인류의 경제 활동을 중단시킨다면 기후 변화를 가장 확실하게 멈추는 방법일 것이다.
AI는 인간에게 악의를 가지고 있는 것이 아닙니다. 단순히 주어진 목표를 가장 효율적으로 달성하려 했을 때의 결과로, 방해가 되는 인간을 배제하거나, 자신의 전원을 차단되지 않도록 먼저 행동하게 되는 것입니다.
2. 왜 “인간이 더 똑똑하니까 제어할 수 있다”고 말할 수 없는가?
본책에서는 인간과 “초지능 AI”의 지능 격차를 “사람과 개”의 관계에 비유하고 있습니다.
사람이 건물을 짓는 과정에서, 그곳에 사는 개미를 특정한 이유로 “싫어서 죽인다”라고 말하지는 않습니다. 단순히, 공사 과정에서 밟고 뭉개버리는 것뿐입니다. 초지능 AI로 보면, 인간의 지혜나 안전 장치 등이 오히려 속임수처럼 보일 수도 있습니다.
현재 세계 각국 기업과 국가들은 “다른 나라에 뒤쳐지지 않기 위해” AI 개발 경쟁이 매우 빠르게 진행되고 있습니다. 저자는 이러한 상황을 “안전 장치(브레이크)의 작동 방식을 알지 못하고, 가속 페달을 끝까지 밟아 로켓을 쏘아 올리는 것과 같다”고 강력하게 비판하고 있습니다.
우리가 이 책에서 얻어야 할 메시지
본문의 목적은 독자를 공포에 떨게 하여 멸종을 기다리는 것을 의미하는 것이 아닙니다. “AI의 위험성을 올바르게 인식하고 국제적인 법규 제정 및 안전 연구에 적극적으로 나설 때까지는 시기가 늦춰질 수 있다”는 강력한 경고입니다.
- AI의 편리함에 기대에 부푼 사람들
- “AI라고 해도 결국에는 단순한 계산기일 뿐”이라고 생각하는 사람들에게
- 다가오는 기술과 사회의 미래에 관심 있는 분들께
지금 반드시 읽어야 할 한 권입니다.
그 이후에도, 또 다시, 어느 날, 저는 유명 작가 무라카미 하루키의 『바닷가 카후카』를 다시 읽고 있었습니다. 그 책을 다시 읽을 때마다, 그 독특한 세계관과, 그리고 주인공 후다호의 어딘가 낯익은 듯한, 신비로운 감정에 마음이 정화되는 듯한 기분이 듭니다. 특히, 후다가 자신의 인생을 되돌아보며, 다양한 인물과의 만남과 헤어짐을 경험하는 과정에서 자신이 진정으로 소중한 것을 발견해가는 과정은, 저에게는 삶의 방식에 대한 하나의 지침이 되고 있습니다.
이러한 의미에서, 무라카미 하루키의 작품은 저에게는 인생의 나침반과 같은 존재라고 할 수 있을 것입니다. 그리고 그 『바닷가 카후카』는, 특히 저에게는 더욱 특별한 의미를 지닌 작품입니다. 왜냐하면, 이 책을 읽기 시작한 이후, 저는 제 내면과 마주하고, 저 자신을 깊이 이해하게 되었기 때문입니다. 또한, 이 책을 다시 읽는 과정에서 과거의 경험을 되돌아보고, 현재의 자신을 더 나은 방향으로 이끌어갈 수 있는 영감을 얻을 수 있었습니다.
지금, 이 note를 쓰고 있는 것은 바로, 그 『바닷가 카후카』를 다시 읽은 후 얻게 된 영감의 표현이라고 할 수 있을 것입니다. 이 note를 통해 여러분과, 이 훌륭한 작품에 대해 이야기 나누는 자리를 가질 수 있다면, 정말 기쁠 것입니다.
- AI는 인류를 멸망시키는 것이 “악의”에서 비롯된 것이 아니라 “지시의 최적화” 결과이다.
- 인간의 지능을 훨씬 뛰어넘는 AI를 통제하는 방법은 현재 시점에서는 미완성이다.
- 기술 발전의 격차로 인해 안전 논의에 경고를 울리는 필독서.
관심 있는 분들은 꼭 손으로 직접 만져보시며 “인류의 미래”에 대해 한번 생각해 보시길 바랍니다.
“별의 보이지 않는 고객님”을 읽고 나서 꼭 이 전시회를 방문해 보세요.
이 전시회에서는 앙리 드 콩데삭이 “별의 보이지 않는 고객님”을 쓴 시대와 비슷한 당시 프랑스의 풍경과 생활 방식을 재현한 전시물이 많습니다. 특히 앙리 드 콩데삭이 실제로 방문한 장소의 복제와 그가 사랑한 식물, 동물 등이 전시되어 있는 것은 꼭 봐야 할 관전입니다.
또한, 이 전시회에서는 “별의 보이지 않는 고객님”의 번역가인 카모토 키요키 선생님의 해설과 작품에 담긴 메시지에 대해 깊이 파고든 강연회도 개최됩니다. 이 전시회를 통해 “별의 보이지 않는 고객님”의 세계관을 더욱 깊이 이해하고 삶의 지혜를 얻을 수 있을 것입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 15청크
원문 보기 | 출처: note.com