# 매일 AI를 사용하는 제가, 도저히 내릴 수 없는 지시가 있다 | AI 시대의 인재론⑲

> https://bookfactory.kr/board/ai-tech/18774
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-27T10:03:54.229Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/317850028/rectangle_large_type_2_1e5aff80f007cc5a8d595f13c5d2d0f1.png?width=1280)

최근 AI를 둘러싼 이야기가 갑자기 섬뜩해지고 있다. 트럼프 대통령은 AI(Artificial Intelligence)를 “SI(Super Intelligence)”라고 부르자고 말하기 시작했다. 최근 미중 정상회담에서는 시진핑 국가주석과의 사이에서도 “SI”라는 호칭을 사용하는 것으로 합의했다고 한다.
다만, 재미있는 것은 여기서부터다. 트럼프 대통령은 AI의 성장을 과도한 규제로 억누르고 싶지 않다는 입장이다. 반면 시진핑 국가주석은 “AI는 항상 인간의 통제하에 두어야 한다”고 강조하고 있다. 같은 “SI”라는 말을 쓰면서, 한쪽은 최대한 성장시키고 싶어 한다. 한쪽은 인간이 통제할 수 있어야 한다는 점을 강조한다.
그리고 거의 같은 시기에, 더욱 섬뜩한 이야기가 나왔다. AI 기업 Anthropic을 퇴직한 연구자 Jacob Coxon(제이콥 코크슨)이 퇴직과 동시에 경고를 공개했다. “AI를 만들고 있는 사람들은 진심으로 2020년대 말까지 AI가 우리 모두를 죽일 가능성이 있다고 생각하고 있다”는 취지의 발언이다. 그는 Anthropic뿐만 아니라 OpenAI에서도 AI 연구개발에携わって온 인물이다. 게다가 Anthropic의 주식 보상을 받을 수 있게 되기 약 2개월 전에 퇴직했다. 본인은 이번 발언에 대해 AI를 강해 보이게 하기 위한 “마케팅이 아니다”라고 강조하고 있다.
게다가 이는 퇴직한 한 연구자만의 발언이 아니었다. 현재도 Anthropic에서 Alignment Science를 이끄는 Evan Hubinger(에반 휴빙거)는 AI가 전 인류를 죽일 가능성을 개인적으로는 향후 10년 안에 10% 초과로 보고 있다고 공언했다. 물론 이 “10%”는 과학적으로 산출된 확률이 아니다. Hubinger 개인의 리스크 평가다. 지금의 ChatGPT나 Claude가 갑자기 인류를 덮친다는 이야기도 아니다. 그들이 우려하는 것은 그 너머에 있는 “초지능”이다.
AI가 정말로 인류를 멸망시킬 것인가. 나는 모른다. 여러분은 어떻게 생각하십니까?
나는 평소 AI를 꽤 많이 쓴다. 일에도 쓴다. 조사도 시킨다. 기사도 함께 쓴다. 이미지도 만든다. 최근에는 어디까지 할 수 있는지 궁금해서 여러 가지 실증 실험 같은 것까지 하고 있다.
그런 나조차도 무서워서 내리지 못하는 지시가 있다. “답을 알 때까지 스스로 계속 조사해.” 이 한마디다.
지금의 AI에 이 지시를 내렸다고 해서 영원히 계속 움직이는 것은 아니다. AI에도 시스템상의 제한이 있고, 쓸 수 있는 도구와 권한에도 한계가 있다. 그럼에도 나는 왠지 모르게 무섭다. 왜일까 생각해 보았다.
“이 5개 사이트를 조사해”라면 조사 범위를 정하는 것은 나다. “10건을 조사해 비교해”라면 어디서 끝낼지를 정하는 것도 나다. “모르겠으면 모른다고 말해” 이것도 정지 조건을 정하는 것은 나다. 하지만 “알 때까지 해”라고 말한 순간, 어디까지 조사할지, 무엇을 시도할지, 언제 “알았다”고 판단할지를 그 일부를 AI 측에 넘기게 된다. 아마 나는 그것이 무섭다.
PC가 멈추면 강제 종료하면 된다. 스마트폰이 이상해지면 최악의 경우 전원을 끄면 된다. 우리는 어딘가에서 “기계는 마지막에는 인간이 멈출 수 있다”고 생각하고 있다. 하지만 거대한 힘이란 정말 그럴까.
예를 들어 『신세기 에반게리온』. 물론 애니메이션 이야기다. 하지만 폭주한 에바를 인간이 멈출 수 없다는 설정 자체는 나는 그다지 황당무계하다고 생각하지 않는다. 오히려 거대한 힘이란 아마 그런 것이 아닐까 생각한다. 힘이 커지면 커질수록, 구조가 복잡해지면 복잡해질수록, 여러 가지와 연결되면 연결될수록, 손에 넣는 것보다 폭주했을 때 멈추는 것이 더 어려워진다.
지금의 AI는 채팅 화면 안에서 질문에 답하는だけ의 존재가 아니라 점점 그렇게 되어가고 있다. 스스로 조사한다. 코드를 쓴다. 도구를 쓴다. 결과를 보고 잘 안 되면 다른 방법을 시도한다. 인간에게 주어진 목적을 향해 스스로 다음 행동을 고른다. 이것이 더 똑똑해지고, 더 자율적이 되고, 더 많은 시스템과 연결되고, 더

**출처:** [note 원문](https://note.com/mirai_jinzai/n/n35d56b8abe29)

*번역: Gemma 3(.44) 초벌 + 교정 1청크*

[원문 보기](https://note.com/mirai_jinzai/n/n35d56b8abe29) | 출처: note.com