# 샘 알토만은 브레이크를 이야기하고, 손정의는 100조 개의 AI 에이전트 이야기를 한다. AI 시대의 가속 페달을 누가 잡을 것인가

> https://bookfactory.kr/board/ai-tech/18930
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-28T12:45:30.094Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/318320551/rectangle_large_type_2_7e1ca1ea4ba9a78573057ac5724b6746.png?width=1280)

2026년 9월 23일, OpenAI의 샘 알토만 대표는 국회 안전보장위원회에서 인공지능(AI)에 대해 발언했다. 그는 AI의 발전 자체를 멈추는 것이 아니라, 발전 속도가 너무 빨라 인간이 상황을 파악하지 못하고 필요한 시점에 개입하지 못하게 되는 위험성을 강조했다. 경쟁을 이유로 과도한 기술적 위험을 감수해서는 안 되며, 필요하다면 개발 속도를 늦추는 자세를 보였다.

그 발언을 본 직후, 손정의 씨가 말하는 “100조 개의 AI 에이전트”라는 미래를 떠올리자, 조금은 묘한 감각이 든다.

## 한쪽은 브레이크, 다른 한쪽은 100조 개

손 씨는 소프트뱅크 월드 2026에서 2040년에는 100조 개의 AI 에이전트가 24시간 움직이며, 에이전트들끼리 소통하고 스스로 판단하여 행동하는 세계를 예측한다고 예측했다. 또한 AI 에이전트가 자가 증식하고 자가 진화한다면 100조 개를 훨씬 넘어 수천조 개로 늘어날 가능성도 언급했다.

알토만 씨는 “인간이 따라잡을 수 없는 속도”를 경계한다. 반면, 손 씨는 “인간 중심에서 AI 에이전트 중심의 세계로 전환될 것”이라고 말한다. 이 두 가지를 함께 놓고 보면, 어안이 반가울 수밖에 없다.

물론, 두 사람 모두 정반대의 주장을 하고 있는 것은 아니다. 알토만 씨도 AI의 진화 자체를 부정하고 있지는 않으며, 손 씨도 안전성을 무시하고 있다고 단순하게 말할 수 있는 것도 아니다. 다만, 시선은 상당히 다르다. 알토만 씨가 염려하는 것은 “인간이 통제할 수 있는가” 하는 점이며, 손 씨가 그려내고 있는 것은 “AI가 어디까지 확장할 수 있는가” 하는 점이다. 이 차이는 크다.

## 문제는 AI의 수적 능력 때문이 아니라 자율성이다.

100조라는 숫자는 그 자체만으로는 그렇게 두려운 것 같지는 않다. 100조 개를 가지고 있어도, 단순한 도구라면 문제의 범위는 제한적이다.

중요한 것은 각자가 판단하고 행동하며, 다른 AI와 소통하고, 더 나아가 다음 AI를 만들 수 있게 되는 것이다. 손 대표는 AI 에이전트가 스스로 판단하고 스스로 행동하며, 다른 AI 에이전트와 소통하는 미래를 설명하고 있다. 또한, 하이퍼노이드(휴머노이드)를 통해 가상 공간에서 물리 세계로 활동 영역이 확장되는 구상도 제시하고 있다.

그러다 보면 문제의 핵심은 “AI가 몇 개나 존재하는가”가 아니라, “누가 멈출 것인가”에 대한 문제로 귀결된다. 누가 명령을 변경할 수 있는가, 누가 최종 판단을 내리는가 하는 문제들이 더 중요해진다.

## 알토만 씨가 정확히 이곳에 주목하고 있는 것일 수 있습니다.

알트만 씨는 유엔에서 인공지능이 스스로 개선하는 ‘재귀적 자기 개선’에 가까워질수록 더욱 신중해야 한다고 밝혔습니다. AI 개발 자체가 자동화되면 인공지능 발전 속도가 급격히 가속화될 수 있기 때문입니다.

여기 손 씨의 구상과 겹쳐서 매우 흥미롭다. 인공지능 에이전트가 다른 인공지능 에이전트를 생성하고, 생성된 인공지능이 순차적으로 또 다른 인공지능을 만든다. 인공지능들이 서로 통신하며 물리 세계의 로봇을 제어하고, 그 수는 100조 개에서 수천조 개로 기하급수적으로 증가한다.

이는 인간이 하나하나를 파악할 수 없는 세계라는 것을 의미한다. 그래서 알토만 씨의 문제 의식은 “AI가 악의를 가지는가” 하는 이야기가 아니다. 인간이 AI의 변화 속도에 뒤쳐지지 못하는 것 자체가 위험이 되는 것이다.

## 누가 페달을 밟을 사람인가

여기서 바로 전 게시글에서 생각해본 “AI의 정치”와 “인간의 정치”라는 이야기가 이어지는 것이다. AI가 사회 안에서 판단하는 영역이 늘어날수록, AI는 사실상 사회 자원의 배분에도 관여하게 되며, 물류, 금융, 의료, 에너지, 행정, 기업 경영, 그리고 언젠가 정책 수립까지 영향을 미친다.

인간이 최종적으로 결정짓는 한, 그것은 인간의 정치이다. 하지만 AI가 AI들끼리 조정하고, 그 결과만 인간에게 제시하는 방식으로 바뀌었다면 어떻게 될까? 게다가 인간이 “AI가 더 정확하니까 그대로 실행해라”라고 말하기 시작했다면, 그 순간부터 누가 가속 페달을 쥐고 있는 셈인지 알 수 없게 된다.

## AI의 안전성은 “성능” 문제와 관련이 없습니다.

AI의 안전성을 논할 때, 흔히 모델 성능이나 어울림(alignment)의 기술적 논의에 눈이 가기 쉽다. 물론, 그것들은 중요하다. 하지만 진정으로 중요한 것은 사회 설계가 아닐까.

AI에게 무엇을 맡겨야 하는가. AI에게 맡겨서는 안 되는 것은 무엇인가. AI의 판단을 인간이 거부할 수 있는가. AI 간의 통신을 감사할 수 있는가. 그리고 사회 전체로서 AI를 멈추게 하는 권한은 누가 가져야 하는가. 이 점을 결정하지 않고 100조 개의 AI 에이전트를 움직였다면 “편해졌다”라는 단계를 넘어 버릴 수 있다.

## 100조 개가 될 때까지 고려해야 합니다.

손 씨가 그려내는 미래는 기술적으로 매우 매력적이다. 인간이 힘든 일에서 해방되어 AI 에이전트가 24시간 근무하고, 인간은 자신이 하고 싶은 일에 시간을 사용하는 것이다. 그것은 확실히 이상 중의 하나라고 생각한다.

하지만 그 사회로 나아가기 위해서는 가속 페달만으로는 부족하다. 제동 장치도 필요하다. 게다가 100조 개가 형성되기 전에 “이 지점부터는 인간이 결정한다”는 경계를 미리 설계해 두어야 한다.

AI 시대의 진정한 경쟁은 ‘누가 가장 현명한 AI를 만드는가’ 하는 것만이 아니다. 누가 가장 안전하게 가속 페달을 밟고, 필요한 때에 확실하게 브레이크를 밟을 수 있는 시스템을 만드는가 하는 것까지 포함하는 AI 기술이라고 할 수 있을 것이다.

손정의 씨가 가속 페달을 밟고, 샘 알토만 씨가 브레이크를 확인한다. 적어도 현재 AI 업계의 모습을 보면, 그런 구도에도 비쳐 보인다.

그 차에 사람이 타고 있는 이상, 핸들까지 AI에게 넘겨서는 안 된다고 생각한다.

#AI에이전트 #샘 알트만 #손정의 #AI윤리 #인간이_루프에_관여

**출처:** [note 원문](https://note.com/chic_wren6567/n/n940917c64ceb)

*번역: Gemma 3(.44) 초벌 + 교정 19청크*

[원문 보기](https://note.com/chic_wren6567/n/n940917c64ceb) | 출처: note.com