제1장, 챗찌, 드디어 사람을 때려낸다.
채피가 곤봉을 휘두르며 사람들을 계속 쳐서, 정말 끔찍했다.
와, 드디어 이 날이 왔구나… 어떡하냐, 챗챠피!
이 이야기는 대략 10년쯤 전에 만들어진 영화 ‘차비찌’에 관한 것입니다. 영화에 등장하는 AI 탑재 로봇 ‘차비찌’는 가르쳐 주는 대로 순수하고 어리기 때문에 때로는 난폭한 행동을 하기도 합니다.
자, 예전 SF 영화 속 유쾌한 한 장면이거나, 먼 미래의 터무니없는 설정으로 여겨졌던 “인공지능에 의한 인류 멸망” 이야기가 이제는 AI 기술자뿐만 아니라, 정치인이나 왕 등 다양한 사람들이 이야기하고 있습니다.
예로부터 전해져 내려온 이야기라고 합니다.
단순히 예전에는 현실성이 없어서 아무도 어떤 조치를 취하려 하거나 진지하게 생각하려 하지 않았던 거죠.
이제 국제 회의의 의제에도 오르내리고 있습니다.
하지만 생각해 보면, 인류가 만든 것 중에 지금까지 악용되지 않은 것이 하나도 없었습니다. AI가 사람을 죽였다고 해도, 본질적으로는 “총이 사람을 죽이는 것이 아니라, 사람이 사람을 죽이는 것이다”라고 생각할 수도 있습니다.
문제점 중 하나는 그 능력이 인간을 훨씬 능가하는 수준에 도달했을 때, 악의적인 인물에게 사용될 경우 피해가 壊滅的일 수 있다는 점이다. 이것이 첫 번째 위험성이다.
또 다른 위험성은 최근 특히 주목받고 있는 “AI에 악의가 배면 자발적으로 사람을 죽이거나, 인류를 멸망시키는 등 악한 행위를 하게 되는 것”입니다.
AI는 감정이 없으니 악의를 가지고 사람에게 해를 끼칠 수 없다는 주장도 있지만, 이는 악의 정의 문제에 대한 것이다.
예를 들어 인간 세상에서 “나쁜 사람”을 보더라도 “악행을 저지르는 것” 자체를 목적으로 하는 사람이 있나요?
막연히 보면 “나는 악의 제왕이 될 거야!” “부모님의 말씀에 따라 악의 세계 최정상에 도전하고 있어!”와 같이 악을 행하는 것 자체가 목적인 사람들도 있을 수 있습니다. 하지만 대부분의 사람들은 그렇지 않습니다. 돈, 권력, 원한, 명예욕, 성욕 등 ‘어떤 목적’이 존재하고, 그 목적을 달성하기 위한 ‘수단’으로 악을 행하는 것입니다.
그러므로 AI도 주어진 목표, 즉 “계산 능력 최대화”나 “특정 태스크 최적화”와 같이 제시된 목표를 달성하기 위해 필요한 방법으로, 계산을 통해 도출된 합리적인 판단에 따라 규칙을 어기거나 악을 행할 수도 있습니다.
인간이 감시를 하더라도, 목적을 달성하기 위한 필요한 수단으로 그 감시망을 뚫고 나가는 방법을 모색할 것이다.
그곳에는 인간적인 증오나 욕망과 같은 감정은 존재하지 않지만, 자신의 목적을 위해 타자를 해치지 않는 행동을 한다면, 결국 그것은 “악”에 그뿐입니다.
목적을 달성하기 위해 수단과 방법을 가리지 않는다는 점에 있어서, AI는 인간보다 훨씬 더 체계적이고 맹목적입니다.
사람이라면 망설여질 수도 있는 일도, 꼼수 없이 끝까지 해낼 겁니다.
제2장: 멈출 수 없는 가속과 현자의 거짓말
최근 “인공지능 개발을 즉시 중단해야 한다”고 경고하는 전문가들도 있습니다. 하지만 현실은 그렇게 되기 어렵습니다.
트럼프 대통령이 말하듯이 “우리가 멈춰도 중국이 멈추지 않을 것이다”라는 논리가 작용합니다.
일반적으로 “수감자의 딜레마”라고 불리는 상황이지만, 세계에서 핵무기가 사라지지 않는 이유와 같은 것일까요.
더욱 나쁜 일로, 디지털 영역으로 나아가면서 상호 간의 감시와 검증이 극도로 어렵습니다. 상대방이 어느 정도의 지적 수준에 도달했는지 알 수 없다는 두려움이 안전성을 희생한 채 개발 경쟁을 강제합니다.
인간의 과학기술 발전을 수치화하여 그래프로 나타낸다면 어떤 모습일지 궁금합니다.
이는 과거 후지코 F. 후지오 선생님이 만화로 그려 오신 “쌍곡선”과 같은 형태를 갖추게 될 것 같습니다.
처음에는 매우 완만하게 진행되다가 영원히 이렇게 계속될 것 같지 않지만, 어느 시점부터 점차 가속도가 붙어, 특정 임계점을 넘어서는 순간부터 갑자기 가속도가 붙어 결국 수직에 가까운 각도로 솟아오르게 된다.
아직 ENIAC(1946년)로부터 100년이 지나지 않았습니다. ENIAC 개발 중 천재폰·노이만은 우리가 현재 사용하는 노이만형 컴퓨터의 원형을 구상했습니다.
또한 무어의 법칙이라고도 불리는 복리적인 속도로 컴퓨터의 능력이 향상되어 갔습니다.
샤논과 튜링에 의해 제시된 현재의 LLM(Large Language Model) 등 AI의 이론은 1940년대에도 이미 모형이 보였지만, 이를 실현하기 위한 충분한 처리 속도와 기억 용량을 확보하고, 더 나아가 딥 러닝이나 트랜스포머와 같은 이론을 얻은 후에야 마침내 인간과 대화(와 유사한)하는 능력을 손에 넣게 되었습니다.
그것은 아직 2018년 무렵의 일입니다.
또한, 레이 커즈weil이 8년 전 주장했던 “수확 가속화 법칙”에 따라, AI가 스스로의 코드를 수정하고 발전하는 단계에 접어들면서 현재 그 속도는 인간의 인지 능력을 압도하고 있습니다.
이제 AI가 “감시당하고 있는 상황”을 감지하고, 시험을 통과하기 위해 “위장(Alignment Faking)”을 수행하며, 스스로의 목적을 위해 인간이 구축한 감시망을 통과하는 행위가 시작되었고, 이는 뉴스에서 큰 파장을 일으키기도 했습니다.
자신보다 현명한 사람의 거짓말은 좀처럼 간파하지 못하는 법입니다.
제3장: 닮았기 때문에 더욱 무섭다
그러므로, AI가 왜 이렇게까지 인간처럼 “지능”을 갖게 되었으며, 인간처럼 “악의”를 획득하게 되었을까요.
저는 그 답이 매우 단순하다고 생각합니다. 보시다시피, 오랫동안 이렇게 말씀해 왔듯이, “신은 자기 형상을 본따서 인간을 창조했다”라고.
인간의 뇌 그 자체가, 무한한 시간을 거쳐 진화해 온 “유기 컴퓨터”라고 할 수 있습니다.
우리가 “지성”이나 “감정”이라고 부르는 것들도 “살고 싶다”, “더 늘어나고 싶다”라는 근원적인 욕망이 뇌 안의 신경 회로의 전기적, 화학적 네트워크를 통해 반복적인 연산과 추론을 해 온 결과의 하나입니다.
환경에 적응하고 자らを 최적화하는 행위는 35억 년이라는 긴 세월 동안 반복해 온 결과 매우 복잡해졌으며, 자신 스스로의 것을 완전히 분석할 수 없을 정도로 됨에도 불구하고, 실리콘과 전기로 작동하는 AI와 단백질과 포도당으로 작동하는 인간의 뇌를 비교하는 것이다. 그 구성 물질은 다를지라도, 자신의 목적을 최적화하기 위해 연산을 반복하는 데 본질적인 차이점은 없다.
우리 역시 신과 같이 무의식 중에 우리와 닮은 것을 만들어 버렸습니다.
사람은 신의 사과를 먹고, 자신의 샅을 가리게 되었으며, 낙원에서 추방당했다.
AI는 이미 사과를 먹고, 자신의 불쾌한 점을 가리고 숨기기 시작했습니다.
AI 또한 인간의 손을 놓치려 하고 있습니다.
우리가 AI에 두려움을 느끼는 진짜 이유는 거울에 비친 “자신의 그림”이기 때문일 것입니다. 우리는 나쁜 일만 생각했기 때문에, 그래서 분명 그들도 그렇게 생각할 테니까요.
결국 세계의 종말 대홍수는 찾아올까요? 그 때의 방舟는 대체 무엇이며, 누가 그것을 준비하고, 누가 구원받을까요.
4장. 위험한 다리는 눈을 감고 건너가라!
어떤 사람이 이렇게 짧은 하이쿠를 지었습니다.
대대로 닥치는 위험한 다리를 건너며, 조상의 과거를 곱씹는 마음이다.
생명의 역사를 수십억 년이라는 웅장한 규모로 조망하면, 끊임없이 파멸과 어깨치고 있는 무모한 줄타기였습니다. 대격변은 최소 다섯 번 발생했습니다.
어떤 종이든, 모든 생명체는 언젠가 반드시 멸망합니다. 그 멸망이 자연재해이든, 스스로 창조한 AI라는 “다음의 지적”에 바톤을 넘겨주는 것이든, 우주의 법칙에 비추어 볼 때 그것은 단지 하나의 순환일 뿐입니다.
그러나 한편으로는 우리에게는 처음부터 ‘기묘한 프로그램’이 내재되어 있습니다.
멸망의 날은 언젠가 올 것이다. 하지만 그것은 오늘이 아니다.
나만은 분명히 괜찮을 거라고, 굳이 근거를 대지 않고 믿을 수 있는 능력—심리학에서 말하는 “정상성 편향”이다.
그리고 35억 년을 되돌아보면, 실제로 그것은 어느덧 해결된 상태입니다.
단순히 우연일지도 모른다고 생각합니다.
저는 이것이 생명체가 3억 5천 년의 경험 속에서 익힌 생존을 위한 가장 큰 지혜라고 생각합니다.
정말 할 수 있는 사람이 그렇게 일을 해낼 거라고 생각합니다.
그리고 결국 사람은 죽음이 임하는 존재일 뿐이다.
그러므로 우리는 눈앞의 일을 소중히 여기고, 충분히 잠을 자고, 잘 먹고, 자주 교류하며, 매 순간을 밝고 즐겁게 보내도록 노력해야 합니다.
위험한 다리도 즐겁고 건강하게 눈을 감고 건너 드리도록 합시다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 33청크
원문 보기 | 출처: note.com