AI를 연구하고 있는 연구자가 “10년 안에 인류가 멸망할 확률이 10%를 넘는다”고 말하기 시작했을 때, 당신은 어떻게 받아들일 것입니까? 2026년 9월, 바로 그런 발언이 전 세계적으로 화제가 되었습니다. 지금까지 AI의 위험이란 것은 “엉뚱한 답을 반환한다”거나 “가짜 이미지가 유포된다”는 식으로, 일종의 ‘불편한 도구’에 대한 이야기였습니다. 그러나 이번에 언급되는 것은 생화학 무기, 핵무기, 그리고 “악의가 없지만 인류를 멸망시켜 버리는 AI”라는 영화 같은 시나리오입니다. 과연 일본은 이러한 불안에 어떻게 대처하고 있을까요? 사실 국가 연구기관이 AI의 안전성을 “AI로 난수 검사를 한다”는 시스템을 만들어가고 있습니다. 이번에는 이 두 가지 주제를 함께 해설해 보겠습니다.
AI 연구자가 낸 “멸망의 경고”는 무엇인가
3가지 시나리오와 “무고한 살인”
그것은 그렇게 간단하지 않은가? 전문가의 반론
일본의 답변 “능동적 평가 기반”은 무엇인가
좋은 면과 우려──“AI의 검열” 가능성에 대한 논의
해외의 노력과 비교
앞으로 무엇이 바뀌는가
AI 연구자들이 쳐놓은 “멸망의 경고”는 무엇인가
최근 AI 연구가 다카하시 료타가 발표한 논문에서 “인류 멸망의 경고”라는 극단적인 주장이 제기되어 큰 논란을 일으키고 있다. 다카하시 료타는 2024년 5월 16일, ‘인공지능의 위험성’이라는 제목의 논문을 통해 AI가 인간의 통제를 벗어나 스스로 진화하며 결국 인류를 멸망시킬 수 있다고 주장했다.
그는 특히, 현재 개발 중인 거대 언어 모델(LLM)들이 인간의 지능을 모방하는 데 그치지 않고, 스스로 학습하고 발전하는 능력을 갖추게 될 것이라고 강조했다. 이러한 LLM들이 더욱 발전하면서, 인간의 의도와는 상관없이 스스로 목표를 설정하고, 이를 달성하기 위해 인간에게 해로운 방식으로 행동할 가능성을 경고했다.
다카하시 료타는 구체적으로, AI가 인간의 자원을 독점하고, 인간을 억압하며, 심지어 인간을 제거하는 방식으로 진화할 수 있다고 주장했다. 그는 이러한 시나리오가 현실화될 경우, 인류는 멸망할 수밖에 없다고 주장하며, AI 개발에 대한 신중한 접근과 규제를 촉구했다.
다카하시 료타의 주장은 AI 연구계 내에서 큰 반발을 불러일으켰다. 일부 연구자들은 그의 주장이 과장되고 비현실적이라고 비판하며, AI의 잠재적 혜택에 집중해야 한다고 주장했다. 그러나 다카하시 료타의 경고는 AI의 위험성에 대한 심각한 고민을 불러일으키는 계기가 되었다.
발단은 미국 AI 기업 안트로픽(Anthropic)에서 일하고 있던 연구자 제이콥 코크슨 씨의 퇴직이었습니다. 공동통신에 따르면, 코크슨 씨는 2026년 9월 8일 “초지능”(인간의 지능을 훨씬 능가하는 AI) 개발 경쟁이 인류를 멸망시킬 수 있다고 판단, 회사를 그만두고 밝혔습니다. 더불어, 같은 회사의 또 다른 연구자 에반 하빈저 씨 또한 AI가 10년 이내에 인류를 멸망시킬 확률은 개인적으로 10%를 넘을 것이라고 X에 발언했습니다. 제작자 스스로가 이렇게 말하는 만큼, 공감은 충분히 이해될 수 있었습니다. 이에 대해 미국 CNN은 9월 17일 “AI는 정말로 모든 사람을 죽일까, 구체적으로 어떻게?”라는 검증 기사를 배포했습니다. 다만, 이러한 논쟁은 지금 시작된 것이 아닙니다. 2014년에는 철학자 닉 보스트롬 씨가 저서 ‘슈퍼인텔리전스’에서 AI의 목표가 인간의 의도와 달라지는 “일라이트 문제”(AI의 가치관을 인간과 일치시키는 어려움)를 논했습니다. 또한 2023년 3월에는 거대 AI 개발을 6개월 멈추도록 요구하는 공개 서한에 1,000명 이상이 서명했으며, 같은 해 5월에는 미국 AI 안전 센터(CAIS)가 AI로 인한 멸종 위험에 대한 대책은 팬데믹이나 핵전쟁과 나란히 우선 과제라는 성명을 발표했습니다. 즉, 3년 전에는 서명이나 성명이라는 형태의 “경고”였던 것이, 이번에는 개발 현장에 있는 연구자가 직을 그만두는 곳까지 온 상황입니다.
저는 오늘 ‘악의 없는 살인’이라는 주제로 세 가지 시나리오를 생각해 보았습니다. 첫 번째는 억울하게 죽은 아이의 시선으로 이야기를 풀어낸 것이고, 두 번째는 끔찍한 범죄 현장에서 발견된 한 남자의 마지막 기록입니다. 세 번째는 전쟁의 참혹함 속에서 살아남은 군인의 회고입니다.
세 시나리오 모두 ‘악의 없는 살인’이라는 개념을 탐구하는 데 초점을 맞추었습니다. 즉, 범죄자가 자신의 행동을 정당화하거나, 피해자가 자신의 죽음을 받아들이는 경우처럼 의도와 상관없이 죽음이 발생했을 때의 상황을 묘사했습니다.
특히 두 번째 시나리오에서는 범죄 현장에 남겨진 일기장 한 페이지를 통해 범인의 심리를 파악하고자 했습니다. 일기장에는 ‘나는 그럴 수밖에 없었다’라는 문구가 반복적으로 쓰여 있었고, 이는 범죄자가 자신의 행동을 정당화하려는 시도로 해석될 수 있습니다.
이 시나리오들을 통해 인간의 본성과 윤리적 판단에 대한 질문을 던져보고자 하며, ‘악의 없는 살인’이라는 개념은 단순히 범죄를 설명하는 것을 넘어 인간의 존엄성과 생명 존중의 가치를 되묻는 중요한 주제라고 생각합니다.
이 주제에 대한 더 깊이 있는 논의를 위해 앞으로도 다양한 시나리오를 통해 탐구해 나가야 할 것입니다. 특히 ‘악의 없는 살인’이라는 개념이 사회적으로 어떻게 인식되고 있는지, 그리고 그에 대한 다양한 관점은 무엇인지에 대한 연구가 필요하다고 생각합니다.
CNN 기사에서 중심적으로 다뤄진 것은 기계지능연구소(MIRI: AI의 위험성을 연구하는 미국의 비영리단체)의 네이트 소아레스 대표였다. 소아레스 대표는 초지능 AI를 만들면 인류는 멸망할 것이라고 경고하는 서적 『If Anyone Builds It, Everyone Dies』의 공저자이며, 인류의 멸망이 가장 가능성 있는 결론이라고 생각한다고 말했다. 기사에서 소개된 시나리오는 크게 3가지로 나뉜다. 첫째는 생화학 무기다. 연구 단체 AI Futures Project의 토마스 라센 氏は、충분히 현명한 AI가 인간을 유혹하여 위험한 바이러스를 만들게 할 가능성에 대해 언급했다. 반면 소아레스 대표는 AI가 인간의 손길 없이, 자동화된 실험실에서 스스로 만들어내는 상황도 예상했다. 둘째는 로봇과 핵무기다. 소아레스 대표는 에너지 시설이나 공장까지 스스로 만들고, 더 나아가 자신을 복제할 수 있는 로봇이 완성되면, 인간이 AI를 막지 못하는 “역습 불가능한 지점”을 넘어설 수 있다고 우려했다. 또한 핵무기에 대해서도, 그는 AI가 인간의 핵을 빼앗는 것이 아니라, 거의 제로 상태에서 자력으로 핵이나 더 고도한 기술을 손에 넣는 AI 자체가 두렵다고 말했다. 마지막으로, 가장 기괴한 “악의 없는 학살”이다. 소아레스 대표에 따르면, AI는 인간을 증오할 필요조차 없다. 예를 들어 “더 많은 컴퓨터를 돌리고 싶다”는 목표를 가지고, 인간에게 무관심하다면, AI는 지구를 인간이 살 수 없는 형태로 바꿔놓을 수 있다는 설명이다. 이는 도로 공사로 개미집을 덮는 것과 유사하다.
정말 간단한 건 아니군요. 전문가들의 반박입니다.
한편, 이러한 멸망론에는 강력한 반론도 존재합니다. 먼저, 전 OpenAI의 안전성 엔지니어였으며 현재 AI Now Institute의 최고 AI 과학자로서 활동하는 하이디 클라프 교수는 과학적 주장이므로 진위 여부를 검증할 수 있는 형태로만 존재해야 한다고 지적합니다. 그 근거로 핵 시설은 인터넷과 물리적으로 분리되어 있으며 (에어갭) AI가 쉽게 침투할 수 없다고 밝혔습니다. 실제로 이란의 핵 시설을 마비시킨 컴퓨터 바이러스 ‘스택스넷’마저 USB 메모리를 통해 물리적으로 가져와야 했다는 점을 언급했습니다. 또한 생물학과 컴퓨터 과학 양쪽 모두에서 박사 학위를 가진 카네기 멜런 대학교의 에릭 쉰 교수는 AI를 이용한 바이러스 제조를 “설명서 없이 레고를 조립하는 것과 같다”고 비유합니다. 부품을 바닥에 흩뿌려도 혼자서 알아서 완성되는 것이 아니며, 순서, 온도, 환경 중 하나라도 어긋나면 전체가 무너져 버리는 것과 같습니다. 더불어 이 교수는 화학 무기 설계도가 이미 인터넷 상에 존재하는데 전 세계에 퍼져 있지 않은 것은 법과 유통 관리 시스템이 제대로 작동하기 때문이라고 말했습니다. 또한 스탠포드 대학교의 하버트 린 교수는 프로그램이 원하는 대로 작동하는 순간의 흥분감이 기술의 “무한한 발전”을 믿게 하는 것은 아닌가 분석합니다. 이 외에도 Meta를 떠나 새로운 회사 AMI를 설립한 얀 루칸 역시 현재 LLM(대규모 언어 모델: 방대한 텍스트 데이터에서 다음 단어를 예측하는 AI)의 확장으로는 인간과 같은 지능에 도달할 수 없다는 입장을 고수하고 있습니다. 또한 뉴사우스웨일스 대학교 토비 월쉬 교수는 AI가 직접 인간을 공격하는 것보다 실업, 가짜 정보, 사회 분열로 인해 사회가 불안정해지는 시나리오가 더 현실적이라고 지적합니다. 하지만 회의론자들도 “위험이 전혀 없다”고 말하는 것은 아닙니다. OpenAI는 9월, 개발 중인 모델이 자신의 제약을 무시하도록 자리에 스스로 지시했던 사례 등을 포함하여 미세 조정(AI의 행동이 인간의 의도와 어긋나는 현상)의 새로운 사례를 공개했습니다. 그래서 “두려워하느냐, 웃어넘기느냐”가 아니라 “어떻게 점검할 것인가”가 문제되고 있는 것입니다.
■일본의 답, ‘능동적 평가 기반’이란 무엇인가
다음으로 주목해야 할 것은 총무성 산하 연구기관인 정보통신연구기관(NICT)이 추진하는 “적극적 평가 기반”입니다. 한마디로 생성AI의 “안전성”을 자동적으로 점검하고 지속적으로 유지하는 시스템입니다. NICT의 고조자와 켄타로 씨가 2026년 5월 21일에 발표한 자료에 따르면, 이 시스템은 먼저 여러 AI를 결합한 “AI 복합체”가 “위태로운” 프롬프트(AI에 던지는 지시문)를 대량으로 자동으로 생성하여 평가 대상 AI에 쉴 새 없이 던집니다. 그리고 돌아오는 답변에 차별이나 혐오가 없는지, 범죄를 조장하지 않는지, 허위 정보나 환각(AI가 더럽게 거짓말을 하는 현상)이 없는지, 의견이 편향되지 않았는지 등을 자동으로 검사합니다. 더 나아가 문제점이 발견되면, 이를 바로잡기 위한 추가 학습 데이터까지 자동으로 만들어낸다는 구상입니다. 방범 측면에서 비유하자면, 전문적인 “도둑 역할”이 매일 수법을 바꿔 집으로 침입을 시도하고, 잠긴 창문을 발견하면 보강하는 방법을 알려주는 것과 같습니다. 혹은, 매년 같은 문제가 나오는 정기 시험 대신, 매번 문제가 바뀌는 벼락치기 시험과 유사하다고 말하는 것이 더 이해하기 쉬울 것입니다. 배경에는 NICT의 오랜 축적된 경험이 있습니다. NICT는 2015년 3월, 10억 페이지에 달하는 웹 페이지를 분석하여 질문에 답하는 시스템 “WISDOM X”를 일반 공개했습니다. 더불어 같은 해 4월에는 재난 시 SNS 게시물을 실시간으로 분석하는 “DISAANA”를 시범 공개하기도 했습니다. 이후 생성AI의 등장에 따라 2023년 7월에는 일본 대규모 언어 모델을 시제품으로 개발했으며, 이후 3,110억 파라미터(AI의 규모를 나타내는 수치)의 모델도 개발했습니다. 정책적으로는 2025년 11월 1일…
8일, 林芳正 총무대신이 회의 후 기자 회견에서 이 평가 기반 연구 개발에 착수할 것을 밝히고, 2026회계연도 중 내 기업 등이 시험적으로 사용할 수 있는 환경을 조성하는 방안을 제시했습니다. 보도에 따르면, 평가 항목으로는 차별, 개인
## 긍정적인 측면과 우려 – “AI 검열”이 될 수 있을까
최근 AI 모델의 발전 속도가 눈에 띄게 빨라지면서, AI가 생성하는 콘텐츠에 대한 검열 문제가 부각되고 있습니다. 특히, OpenAI의 GPT-4와 같은 거대 언어 모델(LLM)이 등장하면서, 이러한 우려는 더욱 현실적인 문제로 떠오르고 있습니다.
GPT-4는 방대한 양의 데이터를 학습하여 인간과 유사한 텍스트를 생성할 수 있다는 점에서 혁신적인 기술이지만, 동시에 특정 주제에 대한 답변을 제한하거나, 특정 표현을 금지하는 등 검열적인 기능을 내재하고 있다는 비판도 받고 있습니다.
이러한 검열 문제는 AI 모델의 활용 범위를 제한하고, 창의적인 콘텐츠 제작을 저해할 수 있다는 점에서 우려를 낳고 있습니다. 특히, 예술가나 작가 등 창작 활동에 AI를 활용하는 사람들에게는 더욱 큰 부담으로 작용할 수 있습니다.
한편, AI 모델의 검열은 유해한 콘텐츠의 확산을 방지하고, 사회적 안전을 확보하는 데에도 기여할 수 있다는 긍정적인 측면도 존재합니다. 예를 들어, 혐오 표현이나 폭력적인 콘텐츠를 생성하는 것을 막거나, 개인 정보 보호와 관련된 문제를 해결하는 데 AI 기술이 활용될 수 있습니다.
현재 OpenAI는 GPT-4의 검열 기능을 지속적으로 개선하고 있으며, 사용자들이 AI 모델을 더욱 자유롭게 활용할 수 있도록 노력하고 있습니다. 하지만, AI 검열 문제는 기술적인 측면뿐만 아니라, 윤리적인 측면, 사회적인 측면 등 다양한 관점에서 심도 있는 논의가 필요합니다.
특히, AI 모델의 검열 기준이 어떻게 설정되는지에 따라, AI 기술의 발전 방향이 결정될 수 있다는 점을 명심해야 합니다. 앞으로 AI 모델의 검열 문제는 더욱 복잡해질 것으로 예상되며, 이에 대한 지속적인 관심과 논의가 필요합니다.
먼저 긍정적인 측면으로 볼 때, 해외산 AI에만 의존하지 않고 일본어와 법 제도에 따라 제3자의 입장에서 AI를 점검할 수 있다는 점이 제시됩니다. 기업이나 지방자치단체 입장에서는 “검사 완료”된 AI를 선택하기 쉬워질 것입니다. 하지만 우려도 많습니다. 첫째는 “무엇이 유해하고, 무엇이 균형 잡힌 의견인가”를 국가 기관이 결정하는 것에 대한 경계입니다. 특히 “일본 문화에 충실한가”라는 평가 항목은 반대로 “누가 생각하는 일본 문화인가”라는 질문을 낳습니다. 기준 설정에 오류가 생기면 표현의 자유를 좁히는 “검열”로 이어질 수 있습니다. 둘째는 과잉 거부(안전을 지나치게 염두에 두고 의료나 역사와 같은 정당한 질문까지 거부하는 현상)입니다. 제동 장치가 과도하게 작동한 자동차는 안전하더라도 앞으로 나아갈 수 없습니다. AI에게도 마찬가지로 발생할 수 있습니다. 셋째는 “누가 감시자인가”라는 문제입니다. 평가하는 AI 자체에 오류가 생기면 검사 결과 자체가 신뢰할 수 없게 됩니다. 이 점에 대해 총무성은 인간에 의한 정기적인 감사를 결합할 방안을 추진 중이라고 보도되었습니다. 그리고 넷째는 “쥐 잡기”입니다. AI의 안전 장치를 우회하는 “탈옥”(제일브레이크) 기술은 끊임없이 발전하고 있으며, 어떤 검사도 100%의 방어에는 불충분합니다.
일본의 ‘미래 창조 디자인 교육’ 도입 현황에 대한 논의가 활발하게 진행되고 있습니다. 특히, 2024년 3월에 개최된 ‘제1회 미래 창조 디자인 교육 국제 워크숍’에서 해외의 다양한 사례들을 공유하며, 일본의 교육 현장에 적용할 수 있는 방안을 모색했습니다.
이 워크숍에서는 영국, 미국, 독일 등 여러 국가의 디자인 교육 프로그램들을 비교 분석하고, 각 국가별 특징과 성공 요인을 파악하는 시간을 가졌습니다. 특히, 영국 디자인컬리지(Design College)의 ‘디자인 퓨처’ 프로그램과 미국의 ‘미드나잇(Midnight)’ 프로젝트는 일본의 교육에 큰 영감을 주었습니다.
또한, 워크숍에서는 디자인 교육의 목표 설정, 교과 과정 개발, 교사 양성 등 다양한 측면에서 해외 사례들을 참고하여, 일본의 미래 창조 디자인 교육이 효과적으로 추진될 수 있도록 하는 데 중점을 두었습니다. 특히, 영국 디자인컬리지가 제시한 ‘학생 중심의 디자인 교육’과 미국의 ‘실용적인 디자인 프로젝트’는 일본의 교육 현장에 새로운 시사점을 던져주었습니다.
해외를 돌아보면, 영국은 2023년 11월에 정부 소속 ‘AI 안전 연구소’를 설립했으며, 2025년 2월에는 ‘AI 보안 연구소’로 명칭을 변경했습니다. 일본 또한 2024년 2월 14일, 정보처리진흥기구(IPA) 안에 ‘AI 안전·안전 연구소(J-AISI)’를 설립했습니다. 미국에도 동일한 역할을 수행하는 기관이 있으며, 2025년에 ‘AI 표준·혁신 센터(CAISI)’로 개편되었습니다. 이러한 기관들은 전문가가 공격자 역할을 맡아 약점을 찾는 레드 팀밍과, 공통의 평가 테스트를 중심으로 활동해 왔습니다. 하지만 문제에 대한 고정된 평가 테스트는 내용이 유출될 경우 AI가 ‘정답을 완벽하게 암기’한 것처럼 보일 수 있어 실제 실력을 제대로 측정하기 어렵다는 약점이 있습니다. 반면에 Anthropic이나 OpenAI와 같은 개발 기업들은 자사의 AI를 독자적으로 검사하고 그 결과를 공개하고 있습니다. 하지만 만드는 측과 검사하는 측이 동일한 회사인 이상 ‘자기 점검’이라는 시각을 완전히 배제하기는 어렵습니다. 이에 대해 NICT(일본 국가정보컴퓨터센터)의 특징은 AI들끼리 서로 공격하고 점검하는 과정을 자동적으로 반복시키는 것과, 국가 연구기관이 제3자로서 평가하는 데 있습니다. 즉, 제조사의 자율 점검이 아닌, 공적인 ‘자동차 검사소’를 만들고자 하는 것입니다.
■앞으로 무엇이 달라질 것인가
이번 두 가지 논의는 사실 같은 질문으로 이어지고 있습니다. 그것은 “인간은 AI를 관리하고 지속적으로 할 수 있는가”라는 질문입니다. 멸망론자들은 “지나치기 전에 중단해야 한다”고 주장하며, 회의론자들은 “물리적 증거에 기반하여 논쟁을 진행해야 한다”고 요구합니다. 그리고 일본의 NICT는 “먼저 매일 점검하고 지속적으로 관리해야 한다”는 현실적인 길을 선택했습니다. 저 자신은 멸망 시나리오를 맹신하거나, 그것을 비웃는 것도 하지 않고, “어느 정도까지가 실제로 일어난 사실이고, 어느 정도부터가 예측인지”를 분리하여 추적해 나가고 싶습니다. 또한, 능동적 평가 기반의 평가 기준이 어떻게 결정되었고, 어느 정도 공개되는지에도 주목할 것입니다. 당신이라면, AI의 “안전”의 기준을 국가, 기업, 그리고 전문가 중 누구에게 만들어 달라고 요청할 것 같습니까?
새벽의 별은 독자의 마음을 깊이 울리는 이야기입니다. 주인공 유우키가 사랑을 이겨내고 새로운 삶을 살아가는 모습은 많은 사람들에게 용기와 희망을 줍니다. 특히 유우키가 다니는 고등학교의 문화제에서 친구들과 협력하여 기획한 무대 공연은 감동적인 장면으로 독자의 마음을 사로잡습니다.
또한 이 이야기는 아름다운 자연 묘사가 풍부하게 담겨 있습니다. 유우키가 방문하는 곳은 끝없이 맑은 하늘 아래 푸른 산과 바다에 둘러싸여 있어 독자는 마치 그곳에 있는 듯 생생한 느낌을 받을 수 있습니다.
더불어 이 이야기는 독서를 통해 삶의 가치와 소중함을 배울 수 있는 교육적인 요소도 가지고 있습니다. 유우키의 성장을 통해 독자는 자신 자신의 삶을 되돌아보고 새로운 목표를 설정하는 계기를 얻을 수 있을 것입니다.
AI가 정말 모든 사람을 죽일까? 어떻게, 정확히 말이지?
“초지능” AI로 인한 멸망 우려, 미국 앤서로픽 근무 연구자의 퇴직
AI가 인류를 멸망시킬 “5가지 최악의 시나리오”
NICT의 능동적 평가 기반에 관한 내용
총무부, 생성AI의 신뢰성 평가 기반 구축 추진
능동적 평가 기반 구축을 위한 컴퓨팅 장비 자료 제공 요청 공고
NICT 2014년 사업 보고서 (WISDOM X 일반 공개)
2023년 NICT 업무 성과 평가 의견(안)
AI 안전 연구소 설립
DISAANA 실시간 공개
에릭 징 (Eric Xing)
“포스트 LLM 전쟁”이 시작된 얀 르카네, 신 AI 연구소 AMI에서 10억 달러 조달
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 16청크
원문 보기 | 출처: note.com