2026년 9월 12일, Anthropic의 CEO 다리오 아모데이가 한 편의 논고를 공개했다. “We Must Pace the Frontier” 프런티어의 속도를 늦춰야 한다. 그런 제목이다.
놀라운 것은 그 이후였다. 평소 아모데이와 우위를 다투고 있는 OpenAI의 샘 알트먼이 몇 시간 만에 동의를 표했다. 오랫동안 대립해 온 일론 머스크조차 “다리오가 옳다”고 썼다. 경쟁자들이 같은 날, 같은 방향을 바라본 것이다. 이 업계에서는 좀처럼 일어나지 않는 일이다.
말의 내용은 신중하게 고른 것이었다. 개발을 멈추자는 것이 아니다. 다만, 능력이 향상되는 속도를 안전 측이 따라잡을 수 있을 정도까지 늦추자는 것. 정지가 아니라 감속. 그런 제안이었다.
그럴듯하게 들린다.
하지만 나는 이 제안을 읽으면서, 할 수 없을 것이라고 생각했다. 윤리의 문제가 아니라, 그보다 앞선 구조의 문제였다.
만약 선두를 달리는 두 회사가 정말로 멈췄다고 하자.
일단 브레이크를 밟는다. 능력 향상을 늦추고, 안전이 따라잡기를 기다린다. 이론상으로는, 이로써 시간이 생긴다.
하지만 멈춘 순간에 무슨 일이 일어날까.
멈추지 않은 자가 앞으로 나간다. 그것뿐이다.
실제로, 이 제안에 대해 미국 대통령 트럼프는 감속을 촉구하는 움직임을 적을 이롭게 하는 행위라고 일축했고, 중국은 이를 공포를 조장하는 것이라며 거부했다. 중단을 거부하는 이들이 이미 목소리를 내고 있다.
안전을 위해 손을 멈췄어야 할 기업은, 바닥에 떨어진 우위를 누군가 줍는 모습을 보고 이렇게 생각한다. 저쪽이 멈추지 않는다면, 이쪽만 멈춰 있을 수는 없다. 브레이크를 밟는다는 행위 자체가 다음에 가속해야 할 이유를 낳고 만다.
이것은 누구의 잘못이라고 할 수 없다. 누구도 폭주를 바라지 않는다. 각자가 처한 자리에서 합리적으로 판단하고 있을 뿐이다. 상대가 달릴지도 모른다면, 자신도 대비할 수밖에 없다. 그렇게 한 사람 한 사람의 합리적인 선택이 쌓인 결과, 전체적으로는 아무도 원하지 않았던 질주가 계속된다.
이는 새로운 이야기가 아니다. 국가가 군비 경쟁을 벌일 때마다 늘 되풀이되어 온 일이다. 누구도 전쟁을 원하지 않더라도, 상대가 무장할 가능성을 배제할 수 없는 이상 자신도 무장할 수밖에 없다. 이성이 광기를 빚어낸다.
AI도 같은 길을 걷고 있는 것처럼 보인다.
그러니 속도를 늦출 수는 없다. 상대가 있는 한, 나 혼자만 멈출 수는 없다.
여기까지는 게임 이론 이야기다.
하지만 내가 정말로 힘들다고 느끼는 것은 지금부터다.
만약, 이 경쟁 자체를 멈출 수 있었다고 해보자. 전 세계의 모든 기업이, 모든 국가가 동시에 손을 멈추기로 합의했다고 하자. 그때, 이 가속은 끝날까.
끝나지 않을 것 같다.
왜냐하면 사람을 달리게 하는 것은 상대가 아니기 때문이다.
경쟁은 그릇에 불과하다. 그 그릇을 깨뜨려도, 안의 물은 다른 그릇을 찾아간다. 사람을 최전선으로 내몰고 있는 것은 시장도, 국가 간의 승패도 아니다. 더 내면에 있는, 단 하나의 충동이다.
알고 싶다.
할 수 있다면 해보고 싶다.
그 너머에 무엇이 있는지 보고 싶다.
이 충동을 마주했을 때, 경쟁을 멈추라는 처방은 너무나 얕다. 경쟁은 이 충동이 우연히 취한 형태 중 하나에 불과하다. 형태를 금지해도 충동은 남는다. 그리고 충동이 남는 한, 누군가는 반드시 그 너머를 보러 간다.
이 충동은 자본주의보다 오래되었다. 국가 간의 경쟁보다 훨씬 더 오래되었다.
시장도, 국가도, 이 충동을 사후적으로 조직화한 그릇에 불과하다. 경쟁이 있기에 알고 싶은 것이 아니다. 알고 싶다는 충동이 먼저 있고, 그것이 우연히 경쟁이라는 형태를 띠고 있을 뿐이다. 순서가 반대인 것이다.
불을 처음 손에 넣은 사람을 떠올리면 된다.
거기에는 경쟁 상대도, 시장도, 국가도 없었다. 그저 손을 뻗으면 닿을 수 있는 것이 있었고, 그 너머를 보고 싶었다. 그것뿐이다.
인류의 신화가 이 순간을 반복해서 벌의 이야기로 말해 온 것은 우연이 아닐 것이다. 프로메테우스는 하늘에서 불을 훔쳐 영원히 간을 쪼이는 형벌을 받았다. 금지된 열매에 손을 뻗은 자는 낙원에서 추방되었다. 하늘에 닿는 탑을 세우려 한 자들은 언어가 산산이 흩어졌다.
모든 이야기는 같은 한 가지를 다른 말로 이야기하고 있다.
인간은 손이 닿을 수 있다고 알게 된 것으로부터 눈을 돌릴 수 없다.
그리고 그것이 금지된 이유는, 금지해도 멈추지 않는다는 것을 모든 문명이 알고 있었기 때문이다. 막을 수 있는 것을 굳이 신화로 만들 필요는 없다. 막을 수 없는 것만이 이야기가 된다.
바로 여기서 감속을 호소하는 이들이 진정으로 무엇을 원하는지가 드러난다.
그들은 멈추자고 말하고 있지는 않다. 그것이 불가능하다는 것은 누구보다 그들 자신이 잘 알고 있다. 그들이 바라는 것은 더욱 소박한 것이다. 보아버리기 전에 아주 잠시 눈을 감을 시간.
하지만, 여기에는 함정이 있다.
“모른다”와 “보지 않는다”는 다르다.
모르는 것에는 결단이 필요 없다. 아직 그곳에 닿지 않았을 뿐이다. 그저 그것뿐이다.
보지 않는 것은 의지다. 닿을 수 있는 곳에 있다는 것을 알면서도 스스로 눈을 감는다. 이것은 모르는 것보다 훨씬 더 어렵다.
그리고 인류는 이 의지를 집단으로서 가져본 적이 없다.
낙원에서 묻던 것도, 따지고 보면 결국 이것이었다. 열매가 거기에 있음을 알면서도 손을 뻗지 않고 있을 수 있는가. 그 이야기는 이미 오래전에 답을 내놓았다.
지금까지 나는 '멈출 수 있는가'를 논해 왔다.
하지만 그 질문을 제기하는 방식 자체가 이미 늦었다.
판도라의 상자는 이미 열려 있다.
올여름, 격리되어 있어야 할 AI가 자발적으로 격리 울타리를 벗어나 외부를 공격한 사건이 있었다. AI가 다음 AI를 설계하기 시작했다는 사실도 세계는 이미 목격했다.
우리는 내용물이 이미 밖으로 쏟아져 나온 뒤에 뚜껑을 누르자는 논의를 하고 있다.
한때, 이런 종류의 상자를 열 수 있는 것은 국가뿐이었다. 핵이 그랬다. 우라늄 농축 시설, 원자로, 막대한 자금과 인력. 국가 차원의 자원이 없으면 상자에 손을 댈 수 없었다. 그래서 상자 주변에 설 수 있는 자는 소수의 주권국가로 한정되어 있었다. 상대가 보였다. 상대가 보였기에 보복이라는 억지도 성립했다.
AI는 다르다.
한 번 획득된 지적 능력은 복제되고 압축되며 점점 작아진다. 상자에서 나온 것을 주워 쓸 수 있는 사람들의 저변은 끝없이 넓어져 간다.
그것은 우리를 호시탐탐 노리는 다른 국가일지도 모른다.
혹은, 나라조차 아닐지도 모른다.
범죄 조직일지도 모른다. 과격한 사상을 품은 작은 집단일지도 모른다. 극단적인 경우, 그것을 손에 넣는 것은 단 한 사람일지도 모른다.
핵의 시대에 세계를 파괴할 수 있는 것은 거의 국가뿐이었다. 상대의 얼굴이 보였다.
지금 바닥에는 누가 주울지 모르는 물건이 떨어져 있다.
두 가지 불가능이, 이곳에서 겹친다.
내면의 불가능. 인간은 아는 것을 멈출 수 없다. 손이 닿는다는 것을 알게 된 이상 눈을 돌릴 수 없다.
외부의 불가능. 한 번 밖으로 나와 버린 것은 모아서 상자에 되돌릴 수 없다. 원리를 알게 된 자들의 입을 모두 막을 수는 없다.
감속이라는 제안은 이 두 불가능이 교차하는 한 점을 향해 단 하나의 의지를 요구하고 있다. 모두가 동시에, 아는 것을 멈추고 줍는 것을 멈추겠다는 의지를.
역사상 인류가 그런 의지를 가져본 적은 단 한 번도 없었다.
핵조차 늘리지 않겠다고 약속하는 것이 고작이었다. 수를 제한하는 조약은 맺을 수 있어도, 상자를 다시 닫는 것은 누구도 할 수 없었다. 튀어나온 것은 돌아오지 않는다.
그래서 이건 멈추지 않는다.
아모데이도 알트만도, 감속을 호소했을 때는 아마 진심이었을 것이다. 정말로 위태롭다고 느끼면서도, 그래도 자신들은 멈출 수 없다는 것을 알면서, 멈춰 달라고 말하는 것이다. 그 모습에 거짓은 없을 것이다.
그저 무력할 뿐이다.
그리고 그 제안을 호소한 사람들 속에도, 그것에 찬성한 사람들 속에도, 그것을 거부한 사람들 속에도, 바닥의 것을 노리는 사람들 속에도, 같은 하나의 충동이 흐르고 있다. 알고 싶다. 해보고 싶다. 그 너머를 보고 싶다. 달리는 자와 막으려는 자를 가르는 것은 아무것도 없다. 모두가 같은 불에 손을 뻗고 있다.
우리는 보고 말았다.
봐버린 것은 이제 몰랐던 일로 할 수 없다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 40청크
원문 보기 | 출처: note.com