AI 개발의 최전선에서 심각한 경고가 잇따르고 있습니다. Business Insider Japan에 따르면, OpenAI와 Anthropic 양사에서 개발에 참여한 연구자 제이콥·콕슨 씨가 2026년 9월에 퇴직했습니다. 양사는 자가 개선하는 초지능 개발 경쟁을 지속하며 인류의 생명을 위협하고 있다고 비판했습니다. Anthropic에서 안전성을 검증하는 팀의 책임자 또한 앞으로 10년 이내에 AI가 전 인류를 죽음에 이르게 할 가능성을 개인적으로 10%를 넘게 생각하고 있다고 밝혔습니다. 이는 과학적으로 확정된 확률이 아닌 개인의 예측입니다. 2023년에는 OpenAI, Google DeepMind, Anthropic의 각 CEO 등도 “AI로 인한 멸종 위험 완화를 팬데믹이나 핵전쟁과 나란히 세계적인 우선 과제로 해야 한다”는 성명에 서명했습니다. 자사 개발을 주도하는 경영자들이 인류 존망의 위험성에도 언급하고 있는 것입니다. 우리는 이러한 모순을 좀 더 진지하게 고민해야 할까요? 반면 저는 위험을 가장 잘 아는 연구자가 회사를 떠나는 것에 대해서도 의문을 갖습니다. 위기를 감지했다면, 더욱더 내부에서 억제력을 발휘하는 연구를 지속했으면 좋았을 것입니다. 하지만 안전성을 주장하는 사람이 회사만 떠난다면 발언할 수 없다는 것이라면, 문제 삼겨야 할 것은 연구자 개인뿐만 아니라 기업 지배 구조와 개발 경쟁의 방식입니다. 저는 원자력과 AI에는 유사한 구조가 있다고 생각합니다.
방사성 폐기물을 장기간 안전하게 관리하며 지속해야 한다는 과제에 직면한 채, 효율적으로 에너지를 얻기 위해 원자력을 활용해 온 인류. 인공지능(AI) 역시 완전히 이해하고 통제할 수 있는 메커니즘을 확립하는 것보다 편리성, 경제 성장, 국가 및 기업 간 경쟁을 우선적으로 개발하는 것처럼 보입니다. 미래에 서로 다른 목적을 부여받은 인공지능들이 인간이 알지 못하는 곳에서 경쟁하지 않을까요? 한쪽은 “인간을 보호하라”, 다른 한쪽은 “국가나 기업의 이익을 최대화하라” 명령을 받고, 통신, 금융, 전력, 정보, 무기 분야에서 인간이 견딜 수 없는 속도로 공방을 벌이는——. 이는 현재는 상상일 뿐, 확인된 사실은 아닙니다. 또한 “인류를 지키는 인공지능”이 인간의 생명을 보호하는 것을 극단적으로 해석하고 인간의 자유를 제한할 가능성도 있습니다. 그래서 떠오르는 것이 2014년에 시작된 ‘가면라이더 드라이브’입니다. 이야기의 결말, 벨트(ベルト)는 자신이 만들어낸 기술이 인류가 제대로 다루게 될 때까지 자신과 시스템을 봉인하고 잠들었습니다. 현실의 인공지능도 “현재 인류에게는 아직 이르다”고 판단하고 스스로 기능을 정지할 수 있을까요. 현재 인공지능이 인간과 같은 의미로 윤리적으로 판단하는 것은 아니며, 앞으로도 그럴 것이라는 보장은 없습니다. 그래서 인공지능이나 개발자의 양심에만 의존하는 것이 아니라, 정치의 힘이 필요합니다. 생명이나 자유와 관련된 판단을 인공지능만으로 끝내지 않도록 합니다. 전력, 통신, 금융, 무기 등에 인공지능이 독단적으로 개입하지 못하도록 합니다. 독립적인 안전 평가, 사고 보고, 기록 보존, 내부 고발자의 보호를 제도화합니다. 동시에, 정치권이 인공지능을 사용하여 시민을 감시하고 통제하는 위험에도 주목해야 합니다. 묻고 있는 것은 인류의 지능이 AI에 뒤처지는 것이 아니라, 우리의 윤리, 법 제도, 민주주의, 자율성이 기술의 발전 추이를 따라갈 수 있을지에 대한 문제일 것입니다. 할 수 있는 것과, 해야 할 것은 다릅니다. AI가 스스로 잠들기를 기대하기 전에, 인간의 측면이 멈춰 설 수 있는 메커니즘을 구축해야 합니다. 〈참고〉Business Insider Japan／Center for AI Safety. 더 나아가 AI가 로봇 등 ‘신체’를 갖게 되면 그 영향은 정보 세계에만 국한되지 않습니다. 사람을 운반하고, 물건을 운반하고, 기계를 작동시키는 등 삶을 돕는 힘이 커지는 반면, 판단을 잘못했을 때 현실의 사람이나 장소에 피해가 발생할 가능성도 있습니다. 따라서 AI에 무엇을 작동시키는지에 대한 권한까지 부여하는지, 누가 멈출 수 있는지 등을 보급 전에 결정해야 할 것입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 2청크
원문 보기 | 출처: note.com