# “AI가 인류를 멸망시킨다”고 하는데, 그래도 일을 계속해도 될까

> https://bookfactory.kr/board/ai-tech/18071
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-22T01:39:40.455Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/314654793/rectangle_large_type_2_676d92bfd4bf39c0dea2d4ebb872c601.png?width=1280)

AI가 인류를 멸망시킬지도 모른다

그런 이야기는 AI를 개발하고 있는 연구자 자신이 하고 있습니다.

게다가 최근에는 단순한 SF적 예언이 아니라, Anthropic의 연구자가 "향후 10년 이내에 AI가 인류를 멸망시킬 확률은 10%를 넘는다"는 자신의 추정치를 공개적으로 밝혔습니다.

이런 뉴스를 보면, 한 가지 의문이 떠오릅니다.

“그렇다면, 우리는 지금까지처럼 AI를 사용해서 일을 해도 되는 걸까?”

ChatGPT에게 글을 쓰게 하기.

AI에게 코드를 쓰게 하기.

AI 에이전트에게 일을 맡긴다.

지금 그런 일을 하고 있을 때인가.

저는 이 문제는 “AI를 쓸 것인가, 쓰지 않을 것인가”라는 이분법으로 생각하지 않는 편이 좋다고 생각합니다.

중요한 것은 AI에게 어디까지 맡기느냐입니다.

이 차이를 생각해 보면, AI 리스크 뉴스가 상당히 다르게 보입니다.

## 무슨 일이 일어나고 있는가

사전학습 연구자로 오랫동안 OpenAI와 Anthropic에 재직해 온 제이콥 콕슨 씨가 Anthropic을 퇴사했습니다. “양사 모두 자기개선형 초지능을 향해 돌진하며 인류를 위험한 도박에 내몰고 있다”는 것이 그 이유입니다.

이에 뒤이어, 앤트로픽의 정렬 연구 책임자 에반 하빈저 씨도 "향후 10년 이내에 인류 전체가 멸종할 확률은 개인적으로 10%를 넘을 것이라고 생각한다"고 공언했습니다.

외부의 비판자가 아니라, AI를 실제로 만들고 있는 당사자로부터 이런 목소리가 나오고 있다는 것이 이번의 가장 중요한 점입니다.

## 하지만, AI가 똑똑하기만 해서는 세상을 움직일 수 없다

한편, 이에 반대하는 과학자들의 주장에도 일리가 있습니다.

그 중심에는 "디지털 세계"와 "현실 세계"는 다르다는 지적이 있습니다.

예를 들어 AI가 위험한 바이러스의 설계도를 만들 수 있다고 해도, 그것만으로는 바이러스가 존재하지 않습니다. 실제로 합성하고, 조립하고, 배양하고, 감염성을 확인하고, 대량 생산하는 등 현실 세계의 여러 공정이 필요합니다.

이것은 우리와 같은 전문직의 일에도 통하는 이야기입니다. 아무리 뛰어난 제안서나 설계도를 만들어도, 그것이 실제로 구현되기까지는 실행이라는 또 다른 벽이 있습니다. AI가 똑똑해지는 것과 AI가 세상을 직접 움직일 수 있게 되는 것 사이에는 아직 거리가 있습니다.

## 문제는 '현명함'보다 그 너머에 있다

다만, 여기서 안심해서는 안 됩니다.

AI가 현실에 영향을 미치는 방법은 바이러스와 같은 물리적인 수단에 한정되지 않기 때문입니다. 사이버 공격, 금융 거래, 정보 전파, 감시, 의사결정 지원——이러한 영역에서는 AI에게 로봇 몸체가 필요하지 않습니다. 네트워크에 연결되어 있는 것만으로 충분히 큰 영향력을 가질 수 있습니다.

즉, "AI는 현실을 직접 움직일 수 없다"라는 전제 자체가 조금씩 무너지고 있는 것입니다.

여기서 중요한 것은 AI 자체의 지능뿐만 아니라 다음 세 가지의 곱이라고 저는 생각합니다.

- 얼마나 똑똑한지
- 얼마나 자율적으로 움직일 수 있는가
- 얼마나 많은 시스템에 연결되어 있는가

이 세 가지가 동시에 높아졌을 때, AI의 영향력은 급격히 커집니다.

예를 들어,

텍스트 생성 AI↓코드를 쓰는 AI↓PC를 조작하는 AI↓메일이나 사내 툴에 접근하는 AI↓돈을 움직이는 AI

이처럼 AI에게 넘기는 권한이 늘어날수록 위험의 종류가 달라집니다.

## “멸종론”과 “회의론”, 둘 다 옳다

여기까지 읽으시면 "결국 어느 쪽이야?"라고 생각하실지도 모릅니다.

제 생각에는 “AI가 인류를 멸종시킬 가능성이 있다”는 주장과 “AI가 지금 당장 인류를 멸망시킬 수는 없다”는 주장은 사실 모순되지 않습니다.

전자는 AI의 능력이 미래에 얼마나 통제 불가능해질 수 있는지에 대한 이야기입니다. 후자는 현재의 AI에는 현실 세계에서의 실행을 가로막는 물리적·사회적 제약이 있다는 이야기입니다. 두 이야기는 모두 성립합니다.

이 논쟁은 아직 결론이 나지 않았습니다.

## AI 시대에 필요한 것은 '이용 정지'가 아니라 '권한 설계'입니다

그렇다면, AI를 활용해 일과 커리어를 발전시키고 싶은 우리는 무엇을 기준으로 삼아야 할까요?

제가 실무적으로 효과적이라고 생각하는 것은 “AI를 멈출 것인가, 무조건적으로 추진할 것인가”가 아니라 “능력 단계에 따라 맡기는 범위를 조정하는” 발상입니다.

AI에게 글의 초안을 쓰게 한다↓인간이 확인한다

AI에게 정형 작업을 맡긴다↓로그를 확인한다

AI 에이전트에게 여러 작업을 맡기되 ↓ 권한은 한정한다

돈·계약·공개·삭제 등을 AI에게 맡긴다↓인간의 승인을 필수로 한다

여기까지 읽고,

“그렇다면, AI의 진정한 위험은 구체적으로 어디에 있는가?”

라고 생각하신 분께.

후속 Substack에서는 이번 논쟁을 계기로 AI 리스크를 ‘인류 멸망’이라는 극단적인 이야기에만 그치지 않고 우리의 일과 사회에 일어나는 변화로 정리했습니다.

AI를 두려워하기 위해서가 아니라, 어디까지 맡기고 어디부터 인간이 확인할 것인가.

판단에 참고할 자료가 필요하신 분은 이 글도 읽어 보세요.

“인류 멸망 70%” 논쟁으로 알게 된 AI의 진짜 위험의 정체 https://phity.substack.com/p/ai-risk-ruin

**출처:** [note 원문](https://note.com/phity/n/n7b307e2c69f3)

*번역: Gemma 3(.44) 초벌 + 교정 26청크*

[원문 보기](https://note.com/phity/n/n7b307e2c69f3) | 출처: note.com