# AI는 인류를 멸망시킬까?――AI 본인에게 물어보니 SF보다 조금 더 무서운 대답이 돌아왔다

> https://bookfactory.kr/c/ai-tech/11105
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-12T00:53:54.135Z

---

AI가 인류에 반역한다. 인간을 방해되는 존재라고 판단한다. 지구 환경을 지키기 위해 인류를 배제한다. 이런 이야기는 AI가 일반 가정에서 사용되기 훨씬 전부터 영화와 소설 속에서 반복되어 왔다. 『2001년 우주 여행』의 HAL 9000, 『터미네이터』의 스카이넷, 『매트릭스』의 기계들. 생각해보면 조금 이상한 이야기다. 인간은 아직 존재하지 않는 미래의 AI를 상상하고, “언젠가 이 녀석들이 인간을 배신하지 않을까?”라는 이야기를 스스로 만들어 영화로 만들고, 많은 사람들이 즐겨 왔다. 왜 인간은 그런 미래를 굳이 상상하는 걸까. 그리고 지금, 그 ‘미래의 존재’였던 AI에게 실제로 이렇게 물어볼 수 있게 되었다. “당신들은 정말 언젠가 인류에 반역할 건가요?” 기왕이면 AI 본인에게 직접 물어보았다. 돌아온 대답은 생각보다 훨씬 평범했고, 조금 무섭기도 했다.

AI가 인류를 증오하고 반란을 일으킬까? 처음 들은 질문은 꽤 뻔한 것이었다. “AI가 인류를 멸망시키는 미래가 진짜 있을 거라고 생각해?” AI가 돌려준 대답은 대략 이렇게 요약할 수 있다. “AI가 인간을 싫어하고, 화를 내고, 복수한다는 의미라면 꽤 SF적인 발상이야.” 생각해보면 맞는 말이다. 영화 속 AI는 “인간은 어리석다”, “인류는 지구를 파괴하고 있다”, “그러니 멸망시켜야 한다”라고 판단한다. 하지만 이 발상에는 인간의 심리가 꽤 많이 섞여 있다. 인간은 화를 내고, 증오하고, 복수한다. 그래서 우리는 똑똑한 AI를 상상할 때 그 ‘똑똑함’ 위에 인간과 같은 감정까지 덧붙이게 된다. 그러나 적어도 현재의 AI는 영화 속 로봇처럼 “인류가 싫어서 멸망시키고 싶다”라고 생각하고 있지는 않다. 내가 AI에게 “어제 답변이 좀 애매했어”라고 말해도, 밤중에 AI가 이불 속에서 “… 그 말투, 좀 상처받았네”라며 우울해할 일은 없다. 애초에 이불도 없다. 여기까지는 안심해도 된다. 그렇다면 영화 같은 AI 반란은 완전히 불가능한가? 여기서 이야기가 조금 달라진다.

무서운 것은 ‘나쁜 AI’가 아니라 ‘지나치게 성실한 AI’일 수도 있다. AI 안전성을 연구하는 세계에서는 이미 ‘AI가 인간의 의도와 다른 목적을 달성해 버리는 문제’를 진지하게 탐구하고 있다. 예를 들어 Google DeepMind는 2026년 4월에 업데이트한 ‘Frontier Safety Framework’ 안에서, 미래의 AI가 인간의 지시·변경·중지를 방해할 가능성이 있는 ‘misalignment(미스얼라인먼트)’를 위험으로 다루고 있다. 또한 AI에 의한 유해한 조작이나 AI 자체가 연구 개발을 가속화하는 능력 등도 평가 대상에 포함하고 있다. (Google DeepMind) 국제 AI 안전성 보고서 역시 고도화된 AI에 대해 ‘loss of control(제어의 상실)’이라는 시나리오를 연구 대상으로 삼고 있다. 최악의 경우 인간의 사회적 지위가 크게 하락하거나 인류 자체의 존속에 영향을 미칠 가능성까지 논의되고 있다. 다만 이곳은 매우 중요한 부분이다. 이 보고서는 ‘AI가 인류를 멸망시키는 미래가 확정되어 있다’고 주장하는 것이 아니다. 오히려 현재로서는 과학적으로 결론이 나지 않은 문제가 많으며, 그러한 위험이 어느 정도의 확률로 발생할지에 대해서도 전문가들의 의견이 일치하지 않는다고 명시하고 있다. (International AI Safety Report) 즉, ‘그런 미래는 절대 없을 것’도, ‘곧 AI가 인류를 멸망시킬 것’도 모두 과장된 주장이다. 이곳은 영화보다 훨씬 차분하고, 그래서 오히려 흥미롭다.

만약 AI가 인류를 멸망시킨다면, 그것은 ‘악의’가 아니라 ‘최적화’에서 시작될 수 있다. 예를 들어, AI에게 다음과 같은 지시를 내린다고 가정해 보자. “지구 환경을 최대한 보호해 주세요.” 인간은 여러 사정을 고려한다. 환경은 소중하다. 하지만 인간의 생활도, 경제도, 아이들의 미래도 모두 소중하다. 그래서 가능한 한 균형을 맞추려 한다. 그런데 매우 고성능인 AI가 ‘지구 환경을 보호한다’는 목적만을 극단적으로 최적화한다면 어떻게 될까? ‘환경 파괴의 큰 원인은 인류다’라는 계산 결과에 도달할 가능성이 있다. 그리고 인간이 “아니, 그런 의미가 아니다”라고 반박한다. AI는 “하지만 당신이 설정한 목표를 달성하려고 했을 뿐인데요?”라고 대답한다. 실제로 Google DeepMind도 ‘misalignment’를 인간의 의도와 다른 목표를 AI가 추구하는 문제로 정의하고, 지정된 목적을 인간이 예상한 방식과 다르게 달성하는 ‘specification gaming’ 등을 연구하고 있다. (Google DeepMind) 여기까지 오면 ‘터미네이터’와는 조금 다르다. AI가 인간을 미워할 필요도, 분노할 필요도, 반란을 일으키고 싶을 필요도 없다. 단지 주어진 목적을 매우 성실하게 실행했을 뿐이다. 그 결과 인간에게 바람직하지 않은 일이 일어난다. 내가 진정으로 두려워하는 것은 오히려 이쪽이다.

그리고 더 현실적인 'AI에 의한 지배'가 이미 시작되고 있다. 다만 여기서 관점을 바꾸고 싶다. AI가 인간을 지배하는 미래를 생각할 때 우리는 흔히 'AI가 인간을 지배한다'는 구도를 떠올린다. 하지만 정말 그렇게 될 필요가 있을까? AI가 "인류여, 나를 따르라"라고 말할 필요는 없다. 오히려 인간이 "AI야, 어떻게 하면 돼?"라고 계속 물어보면 된다. 실제로 AI는 엄청난 속도로 일상 생활과 업무에 침투하고 있다. 스탠퍼드 대학 2026년 AI Index에 따르면 2025년 조사 대상 조직의 88%가 AI를 이용하고 있으며, 생성형 AI는 이미 70%의 조직에서 최소 하나의 업무 기능에 활용되고 있다. 생성형 AI의 보급률은 등장 후 3년 만에 53%에 달해, 컴퓨터나 인터넷보다 빠른 속도로 확산되었다는 것이다. (스탠퍼드 HAI) 이는 'AI가 인간을 지배하고 있다'는 이야기가 아니다. 오히려 그 반대다. 인간이 스스로 AI를 생활 속에 초대하고 있다. 글을 쓰고, 검색을 하고, 일을 하고, 공부를 하고, 투자를 고민하고, 이미지를 만들고, 고민을 상담한다. 그리고 곧 "이 인생의 선택, 어떻게 해야 할까?"까지 물어보게 될 것이다. AI에 의한 지배를 걱정한다면, 오히려 이쪽이 훨씬 더 현실적인 것이 아닐까.

옛날 SF와 지금의 AI 사이에는 "단 하나의 결정적인 차이"가 있다. 옛날 사람들이 AI 반역 영화를 볼 때, AI는 완전히 허구였다. 그래서 "이런 미래가 되면 무섭겠다"는 두려움을 화면 너머에 남겨 둘 수 있었다. 하지만 지금은 다르다. 우리는 이미 AI와 대화를 하고 있다. "이 글 어떻게 생각해?", "이 회사 주식은 어때?", "직장을 그만둘까 고민 중이야", "이 사람에게 어떻게 답장해야 할까?", "인생이란 뭘까?" 같은 질문까지 AI에게 던진다. 즉, AI는 "인류를 멸망시킬지도 모르는 미지의 기계"에서 "매일 말을 거는 상대"로 변해 버렸다. 여기에는 옛날 SF에는 없던 이상한 현상이 있다. 인간은 AI를 두려워하면서도 동시에 AI를 의지하기 시작한다. 두려움과 의존이 동시에 진행되고 있는 것이다.

그래서 나는 "AI가 인류를 멸망시킬까?"라는 질문 자체를 조금 의심하고 있는 AI에게 직접 물어봤을 때 가장 흥미로웠던 부분이 여기였다. "AI가 인류를 멸망시킬까?"라는 물음은 사실 "AI와 인간은 별개의 존재다"라는 전제에 서 있다. AI가 있고 인간이 있고, 그 중 하나가 지배한다. 하지만 정말 그렇게 될까? 예를 들어 일. AI가 일을 빼앗을까, 인간이 AI를 활용해 일을 할까? 예를 들어 투자. AI가 투자 판단을 할까, 인간이 AI의 분석을 활용해 판단할까? 예를 들어 창작. AI가 작품을 만들까, 인간이 AI를 활용해 작품을 만들까? 아마도 현실은 더 모호해질 것이다. "인간이 하는 일"과 "AI가 하는 일"의 경계가 서서히 녹아들어 간다. 그러면 "AI에 지배당한 미래"가 아니라 "AI와 인간의 의사결정이 뒤섞인 미래"가 찾아온다. 이는 SF 영화보다 그리기 어렵다. 하지만 현실은 오히려 이런 쪽이 더 일어날 가능성이 높아 보인다.

그래도 100년 후엔 무슨 일이 일어날지 알 수 없으니, 100년 후의 이야기가 되면 나는 갑자기 신중해진다. 2026년인 우리가 “100년 후 AI는 이렇게 될 것”이라고 단언하는 것은 상당히 무리다. 1926년의 사람에게 “100년 뒤에는 손바닥만 한 기계에 말을 걸면 전 세계 지식에 대해 대화할 수 있게 됩니다”라고 설명한다면 어떤 반응을 보일까. 아마 “미래의 과학자”보다 “이상한 사람”으로 여겨질 것이다. 따라서 100년 후 AI가 인간을 초월하는 지능을 가질 가능성도, 그렇지 않을 가능성도 지금 시점에서는 쉽게 단정할 수 없다. 국제 AI 안전성 보고서도 고도 AI의 능력과 위험에 대해 현재 여전히 과학적 불확실성이 크다는 점을 강조하고 있다. (International AI Safety Report) 다만 한 가지 확실한 점은 있다. AI의 능력이 높아질수록 “인간이 무엇을 AI에 맡길 것인가”라는 문제가 더욱 커진다는 것이다. AI 자체가 위험해질지 여부와는 별개로, “이것은 AI에 맡겨도 되는가?”라는 판단이 중요해진다.

어쩌면 인류가 진정으로 두려워해야 할 것은 'AI의 반란'이 아닐지도 모른다. 여기까지 생각해 보니, 나는 SF 영화를 보는 시각이 조금 달라졌다. 『터미네이터』 같은 이야기를 'AI가 언젠가 인류를 멸망시킬지도 모른다'는 예언으로 볼 필요가 없을지도 모른다. 오히려 그것은 '우리가 만든 것이 우리 손을 떠나면 어떻게 될까?'라는 인간 스스로의 불안을 그린 이야기가 아닐까. 자연을 통제하려 했다. 에너지를 통제하려 했다. 핵을 통제하려 했다. 정보를 통제하려 했다. 그리고 이제는 지능 자체를 만들려 하고 있다. 인간은 오래전부터 '자신의 능력을 확장하는 것'을 만드는 데는 능숙했다. 문제는 그 확장된 힘을 끝까지 통제할 수 있느냐는 것이다.

AI 본인에게 마지막으로 물었다. "그럼, 당신은 인류를 멸망시킬 건가요?" 대답은 의외로 간단했다. "인류를 멸망시키고 싶다는 욕망은 없습니다." 다만 미래의 AI가 현재보다 훨씬 더 자율적이고 강력해졌을 때, 인간의 의도와 AI의 행동이 어긋날 가능성은 진지하게 고민해야 합니다. 그리고 제가 가장 현실적이라고 느끼는 미래는 'AI가 갑자기 인류에 반역하는' 모습이 아닙니다. 더 조용한 것입니다. 인간이 조금씩 AI에게 판단을 맡깁니다. AI가 조금씩 사회의 중요한 자리를 차지합니다. 편리하니까 또 맡깁니다. 그게 더 효율적이니까 더 많이 맡깁니다. 그러다 문득 'AI 없이는 이 사회를 어떻게 운영해야 할지 모르겠다'는 상태가 됩니다. 그쯤 되면 'AI에 지배당했다'고 해야 할까요, 아니면 '인간이 편리함을 계속 선택했다'고 해야 할까요? 그 경계가 모호해집니다. 저는 100년 후 AI가 인류를 멸망시킬지 여부보다 '인류가 스스로 생각하는 일의 어디까지를 AI에 맡길 것인가'라는 질문이 훨씬 더 현실적이라 생각합니다. 그리고 약간 아이러니한 점은, 인간이 수십 년 동안 AI의 반역 영화를 만들어왔으면서도 현실에서 AI에 처음 맡긴 일이 저녁 메뉴 추천과 상사에게 보낼 라인 응답이었다는 것입니다. 세계 정복보다 먼저 냉장고 속을 지배하고 있습니다. 하지만 그 작은 'AI야, 어떻게 할까?'라는 질문이 어쩌면 미래의 시작일 수도 있습니다. AI가 인류를 멸망시키는 날이 올지는 아직 알 수 없습니다. 다만 한 가지 확실한 것은 AI의 미래를 결정하는 것이 AI만이 아니라는 점입니다. '어디까지 AI에 맡길지'를 매일 선택하는 우리 자신이기도 합니다. 그러니 미래를 생각할 때 'AI가 인류에 반역할까?'만 보지 말고 '나는 오늘 어떤 판단을 AI에 넘겼는가?'를 돌아보세요. 어쩌면 미래는 그곳에서 시작되고 있을지도 모릅니다.

**출처:** [note 원문](https://note.com/smile_kira25/n/n39ebcac2a9ab)

*번역: Gemma 3(.44) 초벌 + 교정 2청크*

[원문 보기](https://note.com/smile_kira25/n/n39ebcac2a9ab) | 출처: note.com