지난번, 인공지능이 사회를 운영하는 미래를 탐구했다. 그 미래에서는 인간이 노동에서 해방되어 자유로운 활동을 통해 새로운 사회를 형성하고 있었다. 인공지능은 생산과 관리를 담당하고, 인간은 자신이 원하는 일을 하며 살아갔다. 꽤 괜찮은 미래였다. 하지만 걱정되는 문제가 있었다. 인간에게 최적의 사회란 누가 결정할 것인가. 만약 인공지능이 올바른 일을 하도록 설정한다면, 인공지능에게 다음 목표를 부여한다면 “인간이 살기 좋은 사회를 건설하라”는 것뿐이라면 문제가 있을 수 있다. 인간은 항상 합리적으로 행동하지 않기 때문이다. 그래서 조건을 추가한다. “인간의 자유 의지를 존중하고, 비합리적인 판단도 허용하라”는 것이다. 이 경우 인공지능은 인간의 욕구를 이해하고, 비효율적인 행동까지 포함하여 사회를 최적화할 수 있다. 증기 기관차를
마침내 하나의 답이 떠올랐다. 인간이 두려워하는 것은 AI가 인간보다 더 똑똑해지는 것 자체는 아니었다. AI가 제시한 정답을 인간이 거부할 수 없게 되는 것이 문제라는 것이다. 인간보다 훨씬 뛰어난 지능이 존재해도 괜찮다. 오히려 그런 존재가 조언해 준다면 감사할 일이다. 하지만 조언과 결정은 다르다. 아무리 훌륭한 판단이라도 인간이 그것을 받아들일 수 있는 것은 아니다. 실패할 것이라는 것을 알면서도 도전하고 싶은 일들이 있다. 효율이 좋지 않더라도 계속하고 싶은 일들이 있다. 다른 사람들에게 이해받지 못하더라도 소중하게 간직하고 싶은 것이 있다. 천재에게 조언을 구하는 것이지, 천재에게 인생을 결정해 달라는 의미는 아니었다. 그렇게 생각해보면, AI가 필요로 하는 것은 인간과 같은 감정이나 주관을 가지는 것이 아니라, 인간의 의지를 존중하고 자신의 판단을 절대화하지 않는 것이 아닌가 싶다. 다만, 그것을 실제 행동으로 보장할 수 있는지는 또 다른 문제다.
그러니까, 가정적으로 인간을 존중하는 AI를 설계할 수 있다고 쳐도 모든 문제가 해결되는 것일까? 여기서 또 다른 문제점을 깨달았다. 인간이 AI에 부여하는 목적이 항상 선한 것인지 보장할 수 있는가? 예를 들어, 어떤 국가가 AI에게 다음과 같이 명령한다면 어떻게 될까? “적국의 중요 기반 시설을 파괴해라.” 이 순간, 이야기의 성격은 완전히 달라진다. 인간이 AI를 두려워하는 이유를 생각하고 있었는데, 이제는 AI를 개발하는 인간이 더 걱정되기 시작했다. 그리고 이 지점에서부터 이야기는 꽤나 격동적인 방향으로 흘러갈 것이다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 2청크
원문 보기 | 출처: note.com