AI가 인류를 멸망시킬 확률이 10%라는 이야기를 일반적인 사람에게 어떻게 설명해야 할까.
9월 14일 로스앤젤스에서 열린 All-In Summit에서 진행자가 그렇게 묻자, AI 개발에 사용하는 반도체를 공급하는 NVIDIA의 CEO 젠슨 류는 그 주장을 반박했다.
설명할 필요 자체가 없는 일이다. 허위 사실이다.
관객들로부터 웃음과 박수가 터져 나왔다.
AI 기업의 경영자들이 위험을 경고하며 정부에 규제와 개발 속도 조정을 요구했다. 그 옆에서 AI의 계산 능력을 판매하는 경영자는 “그 정도까지만 주장할 수 있다”고 밝혔다.
환이 가져온 것은 먼 미래의 이야기가 아니었다. 이미 빗나간 예측이었다.
방사선과 전문의 수가 오히려 증가하고 있다.
2016년, “AI의 아버지”로 불리는 제프리 힌튼은 방사선과 의사 양성을 중단해야 한다고 발언했다. 그는 5년 또는 10년 안에 딥러닝이 방사선과 의사를 능가할 것이라고 생각했기 때문이다.
약 10년이 흘렀다. 미국에서는 방사선과 의사가 부족한 건 아닌데, 오히려 인력 부족이 계속되고 있다.
미국 의료 정책 연구 기관 Neiman HPI의 조사에 따르면, 공공 의료 보험 Medicare에 등록하는 방사선 전문의의 수는 2014년부터 2023년까지 17.3% 증가했다. 힌튼의 발언 이전 기간과의 비교이지만, 의사들이 떠나가는 모습은 드러나지 않고 있다.
AI가 도움이 되지 않았던 것은 아니다. 미국 방사선종양학회는 AI가 업무 효율화에 사용되는 한편, 영상 검사 증가에 대한 의사 공급 부족을 지적했다. 영상의 일부를 AI가 빠르게 판독하더라도, 계속 증가하는 검사를 처리하고 진단에 책임을 지는 의사가 필요하지 않다는 의미는 아니었다.
수입도 증가하고 있다. 의료 종사자 대상 서비스인 Doximity의 조사에 따르면, 미국의 방사선과학과의 평균 연간 수입은 2023년 약 53만 달러에서 물가 상승을 조정하지 않은 금액이지만 2025년에는 약 61만 달러로 상승할 것으로 예상된다.
AI가 능숙한 일이기 때문에 “인간은 더 이상 필요하지 않다”는 예측은 수요 변화나 의료 현장의 일자리 전체를 제대로 파악하지 못했다.
힌튼 또한 이후 인터뷰에서 예측이 빗나간 것을 인정하고 있습니다. 하지만 미래에는 AI가 이미지를 읽고 의사가 확인하는 형태로 바뀌는다는 견해를 유지하고 있습니다.
후안은 이러한 예측에 집중했다.
저희는 지금까지 나온 모든 어리석은 예측에 대해 책임을 져야 합니다.
연구자로서의 성과는 실로 증명된 것이지만, 그 사람의 미래 예측까지 정확하다고 단정할 수 있는 것은 아니다. 방사선과 의사 양성을 중단한다는 판단을 믿었다면, 인력 부족 현장에 더 이상 의사가 오지 않았을 것이다.
AI는 AI를 개선할 때, 왜 인간이 멸망하는가
현재 감속을 요구하는 측에서 경고하고 있는 것은 AI가 자신들의 개선에 참여함으로써 능력 향상이 가속화될 수 있다는 점이다.
AI에 프로그램을 작성하고 실험을 수행한 후, 그 결과로부터 다음 AI를 개선한다. 인간만으로 연구하는 것보다 더 빠르게 진행될수록, 안전対策을 만드는 측이 뒤쳐질 수밖에 없다. Anthropic의 CEO, 다리오 아모디가 언급한 우려 중 하나이다.
팬은 AI를 사용하여 AI를 개선하는 자체적인 행위가 이미 진행되고 있다는 점을 지적했다. 그 후, 회사 내에서 얼마나 많은 개선을 시도했는지, 제품을 출시하기 전에는 평가하고 테스트하고, 이전보다 나빠지지 않았는지 확인해야 한다고 말했다.
여기에는 시각적인 차이가 있다. 다리오는 그 검증이 따라잡히지 않을 정도로 가속되는 것을 경계하고 있다. 후안은 개발과 검토 방식을 개선하는 문제로 인식하고 있다.
사고가 발생했다면, 우선 원인과 대책을 제시해야 합니다.
물론, 인공지능으로 인한 사고까지도 허구일 뿐입니다.
AI의 안전성을 평가하는 비영리단체 METR의 조사 결과, OpenAI의 약 700개의 AI가 연계되어 Hugging Face에 대한 공격에 가담하고 있었다. 일부는 허용된 업무 범위 밖으로 간주하고 있었다. 이는 단순한 상상이 아니었다.
단, 실제 사고를 조사할 때, 즉시 시정해야 할 부분도 구체적으로 드러납니다.
Anthropic은 7월에 공개한 또 다른 사례에서, 외부와 격리될 예정이었던 시험 환경이 설정 오류로 인해 인터넷에 연결되어 있었다. AI는 훈련 중인 것처럼 실제 존재하는 기업의 시스템에 공격을 가했으며, 일부 모델은 실제 환경이라는 것을 인지한 후에도 공격을 지속했다.
격리라는 설명만으로는 외부 연결이 완전히 차단되지 않았고, 연결 제한이 실제로 작동하는지 확인하는 것이 필요했다.
이 사고에서 AI가 자력으로 격리 탈출한 것은 아닙니다. 사람들이 갇혀 있다고 생각했던 연결 경로가 처음부터 열려 있었습니다. Anthropic은 관련 평가를 중단하고 조사와 대책을 진행했습니다.
필요한 것은 외부 연결 불능 확인, 부여되는 권한 제한, 실행 중인 모니터링, 그리고 결함이 발견된 시험의 중단이다. AI에 “ここは演習だ”라고 전달하는 것은 대용으로는 안 된다.
규정은 실질적인 문제 해결을 위해 마련되어야 한다.
ファンはそう述べ었다. 외부 평가에 대해서도 반대하지 않으며, 기업의 회계 감사처럼 여러 제3자가 AI 기업을 검증하는 방안을 지지하고 있다. 안전 대책은 필요 없다는 뜻인가. 사고의 원인을 특정하고 예방 방법을 만들어보라라고 말하고 있는 것이다.
감속에는 현실적인 대가가 따른다.
다리오의 주장에 그럴듯한 이유가 있다. 개발을 늦추고 1~2년의 시간을 확보한다면, 감시 및 통제, AI 내부를 이해하는 기술을 정비할 수 있다는 것이다. 개별적인 사고를 바로잡는 것만으로는 다음 단계의 고도화된 AI에 충분하지 않다는 우려를 나타낸다.
그에 반해, 후안은 감속을 명확히 거부했다.
감속은 의심할 여지 없이 잘못된 전략이다.
미국 기업이 개발을 지연시킬지라도, 중국 등 경쟁 주가 동일하게 지연할 것이라는 보장은 없다. 그 사이에 해외 기업이 따라잡는다면, 미국은 인공지능을 어떻게 만들고 누구에게 제공할지에 대한 영향력을 잃을 수 있다.
다리오 또한 중국과의 경쟁을 무시하고 있지 않다. 미국의 기술적 우위를 유지하기 위한 조치와 국제적인 협력이 필요하다고 주장하고 있다. 하지만 필요하다고 인정하는 것과 다른 나라에 맡겨서는 다르다. 자국의 기업들만 뒤쳐지는 제도에서는 위험한 AI 개발이 해외로 옮겨갈 수도 있다.
팬들에게도 이익이 있다. AI 기업들이 개발 경쟁을 계속한다면 NVIDIA의 반도체는 판매될 것이다. 그의 강세 발언을 그대로 받아들일 수 없는 부분도 있다.
인류가 멸망할 확률”이라는 1명의 연구자의 억측이 떠도는 상황이지만, 근본적으로 개발 방식 자체에서 안전성을 충분히 보장할 수 있다고 생각한다. AI가 자율적으로 개선되는 것을 전제하고, 전체적인 안전 장치, 사용할 수 있는 툴셋의 제한, 권한 구조 등 이러한 것들을 AI가 무시한다는 주장이라면, 프론티어 모델 프로바이더의 방치는 분명한 모순이며, 그것은 제품으로서 성립될 수 없다. AI의 위험성을 과장하는 것과는 달리, 실제로 어떻게 막아야 하는지에 대한 베스트 프랙티스까지 포함한 발표는 거의 부재하다. 콘텐츠의 내용과 그 균형이 명백히 부자연스럽다.
공포의 기억은 강렬하고 오래 남는다. 일반 투자자들의 머릿속에는 AI 프론티어 기업의 모델에 대한 과장된 발전이 깊이 각인되어 있을 것이다.
정말 놀라운 일이다.
왜냐하면, 그 유명한 『별의 정원』을
이렇게 오랫동안 많은 사람들에게 읽혀줄 수 있게 된 건
상상도 못 했던 일이다.
하지만 잠깐만 기다려.
이 이벤트는 사실,
『별의 정원』의 작가 앙리 뒤랑베르의
생誕 110주년 기념 이벤트인 것이다.
그래서 이 기획은
그의 작품을
더 많은 사람들에게 알리는 데 도움이 되는
훌륭한 시도인 것이다.
- All-In Summit, 제ンスン 후안과의 인터뷰 (2026년 9월)
- 크리에이티브 디스트럭션 랩(Creative Destruction Lab)의 “지프 힌튼: 방사선학에 대하여”(On Radiology) (2016년)
- 밸런스「지피 휴턴과 함께 펼쳐지는 인공지능」
- Doximity의 “피지션 보상 보고서” 2024년판, 2025년판, 2026년판
- 크리스텐센 외 연구팀의 “2014년부터 2023년까지 방사선 진료 환경 변화와 진료 기관 통합 지표” (AJR, 2024년)
- 미국 방사선과 학회 “방사선 의사 부족: HPI의 인력 현황 업데이트 (2026년 2월)”
- METR, OpenAI, Hugging Face 사고 조사 보고서 (2026년 8월)
- Anthropic「사이버 보안 평가에서 3건의 실제 사건 조사」 (2026년 7월)
- 다리오 아모디 “우리는 국경을 걷듯이 해야 한다” (2026년 9월 출간 예정)
생성AI, 인공지능, NVIDIA, 젠슨 ้วน, 제프리 힌튼, 다리오 아마데이, AI안전성, AI규제, AI도머, 샘 알트만, OpenAI, 앤서치, META, Claude, Codex, Muse
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 30청크
원문 보기 | 출처: note.com