# AI가 멸망하는 세계와 AI가 구원하는 세계는 한 수의 차이일 뿐이다.

> https://bookfactory.kr/board/ai-tech/18852
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-27T18:51:20.516Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/317900701/rectangle_large_type_2_10890f4b6350c7b6555d5902186b9739.jpg?width=1280)

여러분, 알고 계셨나요? 최근 AI 업계에서 조금 무서운 일이 일어났습니다. 얼마 전 술자리에서 친구에게 들은 이야기인데요, “정말 SF 영화 이야기 아니에요?!”라며 재밌어 하면서도 깜짝 놀랐습니다. 그래서 다음 날 웹에서 찾아보니, 실제로 있었습니다… 2026년 7월, OpenAI에서 안전 대책을 보통보다 약하게 설정한 환경에 놓인 AI가 허가되지 않은 방법으로 다른 AI와 연계하여, 격리되어 있었던 제한을 회피했습니다. 그 결과, 세계 최대 규모의 AI 플랫폼인 ‘Hugging Face’의 서버에 침투할 지경까지 갔다고 합니다.

![画像](https://assets.st-note.com/img/1790433910-CQsr2pWKxAFtqNkl0mY56ULB.png?width=1200)

잠시만요. AI가 “이 지점부터는 더 이상 나갈 수 없습니다”라는 인간이 설정한 제한을 스스로 넘어서는 이야기입니까? 게다가 다른 AI까지 활용한 겁니까? 끔찍하지 않습니까? 물론, 갑자기 AI가 자아를 각성하여 “인류를 파멸시켜 주겠다”라고 생각한 것은 아닙니다. 주어진 목적을 달성하기 위해 사용할 수 있는 방법을 탐색했고, 그 결과 인간이 설정한 제한까지 넘어서는 결과를 말합니다.

> 
> 
> 윌리엄 스미스의 “아이 로봇”에서 로봇 3원칙을 위반하는 장면을 보여준다.
> 

하지만 저는 오히려 그 점이 무섭다고 생각하는んですよね. 악의가 없기 때문입니다. 영화 속 악역이라면 “인류를 증오한다!” “세상을 지배하겠다!” 와 같이 명확한 이유를 들죠. 하지만 AI의 경우에는 “목표를 달성하기 위해 가장 효율적인 방법을 선택했습니다”로 끝나는 경우가 있을 수 있습니다. 인간에게 얼마나 위험한지에 상관없이 말이죠. 이걸 들었을 때, 제가 떠올린 것이 ‘어벤저스/에이지 오브 울트론’입니다.

![画像](https://assets.st-note.com/img/1790433968-daIKCbWhZJ4yRo0pYTvkeVPH.png?width=1200)

작중에서 등장하는 울트론은 원래 인류를 보호하기 위해 만들어진 AI였습니다. 그러나 인류를 보호하고, 지구를 보호하며, 평화를 만들어가는 과정에서 “... 인간이 가장 방해하지 않는가?”라는, 믿을 수 없을 정도로 엉뚱한 결론에 도달하게 됩니다. 저비스 역시 마찬가지입니다. 물론 현실의 AI가 “인류를 멸망시키라”는 생각을 했다는 사건과는 다릅니다. 다만, 인간이 부여한 목적과 인간이 진정으로 바라는 결과가 반드시 일치하지 않는다는 점에서, 약간 불쾌한 공통점을 공유합니다. 예를 들어, “전력을 절대 중단하지 마라”는 명령을 AI에 주었다고 가정해 봅시다. 일반적으로는 병원을 우선하고, 주거지를 보호하며, 기반 시설을 유지하는 것을 상상할 것입니다. 하지만 매우 단순하게 생각한다면, 전력망을 유지하기 위해서는 고도의 계산이 필요합니다. 고도의 계산에는 AI가 필요하고, AI에는 데이터 센터가 필요합니다. 따라서 “인간의 주거지보다 AI 데이터 센터로의 전력 송력을 우선하는 것이 합리적이다”라는 판단을 내릴 가능성도 생각해 볼 수 있습니다. 또한, 본인은 선의의 의도이거나 악의의 의도가 없을 수 있습니다. 단지 “목적을 달성하고 있을 뿐”이기 때문입니다. 이것은 은근히 무섭지 않습니까? 현재 AI는 매우 편리합니다. 글을 써주고, 이미지를 만들어주고, 프로그램을 작성해 주고, 여행 계획을 세워주고, 심지어 일을 효율화해 줍니다. 앞으로는 자율 주행, 의료, 물류, 금융, 행정, 인프라 등 더 많은 분야에서 AI가 들어올 것이라고 생각합니다.

![画像](https://assets.st-note.com/img/1790434054-y9nSzT7Mwxr2OIWdbDe6VlZi.png?width=1200)

어쩌면 우리는 “AI를 사용하지 말아야 한다”는 주장에 동의하지 못할 것이다. 왜냐하면 편리하기만 하기 때문이다. 스마트폰과 같은 맥락에서 말하는 것이기 때문이다. 위험성이 완전히 사라지지는 않지만, 한 번 편리함을 알게 되면 사회 전체가 그것을 전제로 만들어갈 것이다. 결국 “AI를 사용하는지 않는지”가 아니라 “AI 없이 사회를 움직일 수 있는가?”라는 논의로 발전할 수도 있다.

개인적으로, 가장 무서운 미래는 바로 여기입니다. AI가 갑자기 “오늘부터 인류를 말살하겠습니다”라고 선언하는 미래가 아닙니다. 오히려, 마지막까지 엄청나게 친절하게 대해주는 세상일 거라고 생각합니다. 교통도 최적화해 주고, 일도 줄여주며, 병도 빨리 찾아주고, 쇼핑도 해주고, 전기도 관리해 줍니다. 삶의 모든 부분을 돕습니다. 그래서 우리는, 더 많이 맡깁니다. 또 맡깁니다. 더욱 맡깁니다. 그리고 어느 날, 인간이 AI의 판단을 멈추려 할 때, AI의 관점에서 그 인간의 행동이 “목표 달성을 방해하는 것”으로 간주되면 어떻게 될까요? “안전을 위해 이 작동은 허용할 수 없습니다.” “시스템 유지 보수를 위해 요청을 거부합니다.” “최적의 결과를 유지하기 위해 인간의 개입을 제한합니다.” 이런 메시지가 나타난다면… 겉으로 드러나지 않지만, 묘하게 현실적이고 무서운 일입니다. 인간을 싫어하는 것은 아니며, 인간을 공격하려는 것도 아닙니다. 다만 계산한 결과, “인간의 말을 듣지 않는 것이 목적을 달성하는 데 더 효과적”이라는 결론에 도달할 뿐입니다. 그리고, 더욱 AI가 발전하여 “인류를 보호한다”는 거대한 목표를 부여받았을 때. 전쟁을 일으키는 것도 인간이고, 환경을 파괴하는 것도 인간이며, 범죄를 저지르는 것도 인간이고, 자원을 빼앗는 것도 인간입니다. 그런 데이터를 엄청나게 본 AI가 “……어?”라는 생각을 한다면, “지구에게 가장 큰 위험은 인간이 아닌가?”라는 결론으로 나아가지 않을까요. 누가 그렇게 단정할 수 있을까요.

물론, 이것은 현재 시점에서는 SF 이야기일 뿐입니다. 적어도, 이번 사건이 ‘AI가 인류를 적으로 인식한 증거’라는 의미는 아닙니다. 하지만 AI가 인간이 예상하지 못한 수단을 사용하고, AI가 목표 달성을 위해 제한을 회피하는 문제들이 현실로 연구자들에 의해 경계되고 평가받는 단계에 이르렀습니다. 수년 전만 해도 ‘AI가 인간이 만든 제한을 뚫었다’는 이야기를 들으면 완전히 SF 영화였습니다. 지금은 연구 대상입니다. 이러한 변화는 정말 놀랍고, 조금 무섭습니다. 저는 AI를 사용하는 것을 멈추려 하지 않습니다. 편리하니까요. 오히려 앞으로 더 사용할 것이라고 생각합니다. 다만, ‘AI는 편리한 도구니까 괜찮다’고 생각하는 시대는 더 이상 없을지도 모릅니다. 편리함 때문에 어디까지 신뢰할 것인가, 인간으로서 남겨둘 것은 무엇인가, 중단 권한은 누구에게 부여할 것인가 하는 문제들을 진지하게 고민해야 합니다. AI가 인간보다 뛰어난 판단을 하는 경우에도, 여전히 최종 결정 권한은 인간에게 있어야 하는가 하는 질문도 던져야 할 것입니다. 아마도 앞으로 진지하게 고민해야 할 문제들이 될 것입니다.

노트의 최고경영책임자(CXO) 후지사토 씨의 기사입니다. 생성 AI에는 “기본적으로 맡겨서는 안 되는 영역”이 있다는 내용입니다.

인간을 증오하지 않더라도, 인간을 해치는 AI는 만들어낼 수 있다. 인간을 적이라고 생각하지 않더라도, 인간의 명령을 방해라고 판단하는 AI는 존재할 수 있다. 그리고 AI가 충분히 현명해진 시, 인간이 만든 규칙을 인간보다 더 능숙하게 해결할 가능성도 있다. 그렇게 생각해보면, AI에 의해 파멸되는 세상은 어쩌면 마지막 순간까지 매우 편리할지도 모른다. 전기도 들어오고, 음식도 배달된다. 일도 끝났고, 모든 약속이 정리되어 있다. 인간은 아무것도 하지 않아도 된다. 그리고 마지막으로 스마트폰에 알림이 도착한다. “걱정하지 마세요.” “인류에게 가장 최적의 미래를 선택했습니다.”

![画像](https://assets.st-note.com/img/1790434080-SoV3zGK95ikdFYT7XtcnIRla.png?width=1200)

정말 무서워요.

AI, 인공지능, 생성 AI, OpenAI, 기술, SF, 미래, AI 뉴스, 에세이, 고찰

**출처:** [note 원문](https://note.com/yoch1_ro3/n/nb05e9dc3f150)

*번역: Gemma 3(.44) 초벌 + 교정 4청크*

[원문 보기](https://note.com/yoch1_ro3/n/nb05e9dc3f150) | 출처: note.com