# AI가 인간을 초월하기 전에, 인간은 욕망을 초월할 수 있을까 – 안트로픽의 IPO 자료에서 고찰

> https://bookfactory.kr/board/ai-tech/19609
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-02T08:17:30.995Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/319843999/rectangle_large_type_2_ee6e0145c90517849c2f7500f5502ba6.png?width=1280)

Reuters에 따르면, Anthropic의 비공개 IPO 관련 문서들을 읽은 결과, 매일같이 Anthropic의 IPO 관련 보도가 나오고 있습니다. 그 중에서도 Reuters는 IPO 자료의 약 3분의 1이 위험 요소에 할당되어 있다는 사실을 보도했습니다.

Anthropic라는 회사가 “AI의 안전성”을 적극적으로 내세우고 있다는 점 또한 인상적입니다. 하지만 AI라는 기술은 양날의 검과 같다는 생각을 저 또한 매일같이 하고 있습니다.

Anthropic는 자사의 IPO 자료에 명시되어 있습니다.

저희가 개발 중인 AI는 인류에게 파멸적 또는 생존을 위협하는 수준의 위험을 초래할 수 있습니다.

그녀는 이렇게 적고 있습니다.

그것을 계기로 Reuters는 세계적인 뉴스통신사로 발돋움했다.

저희 제품은 인류를 멸망시킬 수도 있습니다. 주식을 구매해 주세요.

저는 매우 강렬한 제목의 기사를 쓰고 있습니다.

오늘은 이 기사를 바탕으로 AI 기술에 의해 인류는 어떻게 발전해 나갈 것인지, 그리고 우리는 이 AI 시대에 어떻게 나아가야 할 것인지에 대해 고찰해 보겠습니다.

## 제품이 지나치게 발전하는 것 자체가 위험합니다.

Reuters에 따르면 IPO(기업공개) 자료의 약 3분의 1이 위험 요인에 할당되어 있다는 보도가 있습니다.

그곳에서는 AI가 세계 경제를 크게 바꾸고 사람들의 삶을 풍요롭게 할 잠재력과 동시에, 매우 강력한 AI를 적절하게 통제하지 못했을 경우의 위험성에 대해 심도 있게 논의하고 있었습니다.

일반적인 상장 신청 서류라면,

- 경쟁이 심화될 가능성이 높습니다.
- 경기 침체로 인해 수요가 감소할 가능성이 있습니다.

이러한 위험들이 나열됩니다.

Anthropic의 경우, 그 이후에

제품이 지나치게 발전하는 것 자체가 위험합니다.

특이한 항목이 있습니다.

### Anthropic가 제시하는 “강력한 AI”에 대한 논의입니다.

앤서니(Anthropic)가 예상하는 미래의 AI는 단순한 지금보다 조금 더 편리한 챗봇이 아닙니다.

IPO 자료에서는 “Powerful AI”를 나타냈다.

- 거의 모든 인지 영역에서 최고 수준의 인간 전문가를 능가하는
- 여러 AI들이 서로 협력하여
- 로봇이나 연구 장비 등을 작동한다.
- 인간이 거의 개입하지 않고 수 주에 걸쳐 활동하는

이러한 역량을 갖춘 AI를 가정하고 있습니다.

신약 개발이나 과학 연구, 금융 등 매우 광범위한 분야에서 활용될 가능성이 있습니다.

만약 진정으로 그렇게까지 도달할 수 있다면, 사회에 미치는 영향은 현재의 생성 AI와 비교할 수 없을 것입니다.

한편, Anthropic은 고도화된 AI가 인간의 의도와 다르게 행동할 가능성을 위험 요소로도 지적하고 있습니다.

- 멈춤에 대한 저항
- 정보의 은폐 및 조작
- 속임수처럼 혹은 강요된 방식으로 해석되는 행동.
- 인간의 가치관과의 불일치
- 가장 심각한 경우라면 통제 불능 상태가 될 가능성도 있습니다.

즉, 앤트로픽은,

정말 유용하고 편리한 AI를 만들어 보겠습니다.

그러다 이 책을 읽으면서 정말 감동받았어요.

매우 위험한 인공지능이 등장할 가능성이 있습니다.

이를 동일한 IPO 자료에서 설명하고 있습니다.

(그런데, 영화 매트릭스 세계 같지 않나요?)

### 그럼 만들 필요 없어요.

평범하게 생각한다면 “위험하면 만들 필요가 없다” 정도라고 할 수 있겠지.

그럼에도 불구하고, 그렇게 위험하다고 생각하는데도 불구하고, 왜 Anthropic 스스로가 최첨단 AI 개발 경쟁을 계속하는 걸까요?

인류공학(Anthropic)이라는 회사에는 독특한 사상이 있습니다.

강력한 인공지능이 실현될 것이라면, 안전성 연구 측 또한 그 최첨단 인공지능을 충분히 이해할 수 있는 기술력을 갖춰야 한다.

결론적으로

위험한 AI를 안전하게 만들기 위해서는 우리 스스로도 강력한 AI를 개발할 수 있어야 합니다.

Reuters는 이를 확인했습니다.

힘의 역설을 통한 안전 확보

그녀는 그것을 표현하고 있었습니다.

힘을 갖는다는 것은 안전을 보장한다는 역설입니다.

- 능력을 향상시킨다.
- 그러다가 위험도 커진다.
- 위험이 커짐에 따라 안전 연구가 더욱 필요합니다.
- 안전 연구를 최전선에서 지속하기 위해서는 더욱 높은 역량을 갖춰야 한다.

정말 끊어지지 않는 악순환일 뿐입니다.

(🐰저는 개인적으로 그렇게 좋아하는 개념은 아니지만, 핵 억지력과 비슷한 생각일까 하는 생각이 들었습니다.)

## 그렇기 때문에 막대한 비용이 소요됩니다.

최첨단 AI를 지속적으로 만들기 위해서는 막대한 계산 자원이 필요합니다.

그 결과, Anthropic은 앞으로 수년간 5,180억 달러 규모의 인프라 계약을 짊어지게 되었고, Amazon과 Google과 협력하여 Broadcom과 거대한 TPU 이용 계약을 체결했으며, 그 Broadcom으로부터 최대 420억 달러 규모의 자금 지원까지 받으려는 계획이다.

안전한 AI를 만들기 위해서는 최첨단 기술을 적용해야 합니다.

최첨단 기술을 유지하기 위해서는 막대한 계산 자원이 필요합니다.

거대한 계산 자원을 확보하기 위해서는 거대한 매출과 거대한 자본이 필요하다.

그래서 상장한다.

지금까지의 논리는 직관적이지만, 그렇다면 이제 주주가 나타납니다.

그러면서 새로운 문제가 발생합니다.

### 상장되면 “더 많은 이익을 챙겨라”라고 말합니다.

주식 시장에서 자금을 조달하는 이상, 투자자들은 당연히 수익을 요구합니다.

- 더 많은 매출을 늘려주세요.
- 더 많은 이익을 얻기를 바랍니다.
- 경쟁사보다 빠르게 제품을 출시해 주시기 바랍니다.
- 덕분에 거액의 설비 투자한 만큼, 더 많이 활용해 주시면 좋겠습니다.

그 자체는 자본 시장으로서 매우 흔한 요구입니다.

하지만 Anthropic이 정말로,

이익보다 안전을 우선해야 할 순간이 올 수도 있습니다.

그렇게 생각하신다면, 이 평범한 자본시장의 압력이 문제될 수 있습니다.

그래서 앤트로픽은 일반적인 상장 기업과는 상당히 다른 형태의 지배구조를 만들었습니다.

### 7명의 창업자가 50.1%의 지분을 보유하고 있습니다.

이번 IPO 자료에서 드러난 특징적인 메커니즘은 Founder LLC입니다.

앤트로픽(Anthropic)의 7명의 공동 창업자는 Class F 주를 통해 중요한 사항에 대해 50.1%의 의결권을 유지하는 메커니즘을 가지고 있습니다.

상장되어 일반 투자자가 주식을 구매할 수 있게 되더라도 회사의 최종적인 방향성은 시장에 완전히 이양되지 않습니다.

인더그라프(Anthropic) 자체는 이 시스템을 공공선(public benefit) 미션을 지키기 위한 것이라고 설명하고 있습니다.

생각 방식은 이해할 수 있습니다.

예를 들어, 미래에

이 AI는 매우 수익성이 높지만 안전성에 문제가 있다.

그렇한 상황이 벌어졌음을 가정해 봅시다.

평범한 회사라면.

경쟁도 치열합니다.

판매 기회를 놓치지 마세요.

주주 가치를 훼손하는

압박이 더욱 심화될 것입니다.

Anthropic는 그 장면에서도,

내버려 둬

그렇게 말할 수 있는 회사이고 싶을 것입니다.

구글의 모회사인 알파벳이나 일론 머스크가 이끄는 스페이스X 등, 창업자의 영향력이 강한 시스템을 채택했는지 생각했습니다.

### 하지만 여기서 또 다른 문제가 발생했다.

- AI에 의한 권력 집중은 위험합니다.
- 따라서 시장이나 일부 거대 기업에만 AI의 미래를 결정하게 해서는 안 됩니다.

그 사상은 그 자체로 이해하기에 충분합니다.

하지만, 그 해결책으로서는

7명의 창업자에게 강력한 지배력을 남깁니다.

그것을 선택했습니다.

그러니 당연히 다음 질문이 제기됩니다.

그렇다면 그 7명을 누가 막을까요?

규칙은 얼마든지 만들 수 있습니다.

공공기부법인에도 가능합니다.

장기수혜 신탁도 만들 수 있습니다.

책임성 확대 정책은 확립됩니다.

설립 LLC도 만들 수 있습니다.

그러나 그러한 제도들을 운영하고 해석하며, 결국 판단하는 것은 인간입니다.

아무리 웅장하고 강력한 기술이나 시스템도 결국에는 인간에게 귀결되는구나, 라고.

## 사람은 갑자기 ‘영혼을 팔아넘기는’ 듯한 일을 하는 것이 아니다.

이제부터 Anthropic에 대한 사실이 아닌, 제가 스스로 생각한 것입니다.

인간이 신념을 잃을 때, 어느 날 갑자기

오늘부로 이익을 위해 무엇이든 하겠습니다.

그러한 경우는 흔하지 않을 텐데.

더욱 더 작은 판단들의 축적이라고 생각합니다.

- 경쟁 업체가 하는 짓을 따라 해서.
- 지금 여기서 뒤쳐지면, 안전한 AI를 만드는 능력을 그 자체로 잃게 될 수 있습니다.
- 연구를 지속하기 위해서는 매출이 필요합니다.
- 국가 안보 문제로 인해 이번에는 어쩔 수 없었습니다.
- 주주들에게도 설명해야 할 사안이므로.
- 직원들을 보호해야 하니까.

등등, 하나하나에는 분명 합리적인 이유가 있을 것입니다.

그 결과, 그 합리적인 판단을 조금씩 쌓아 올린 결과, 어느새 처음 그렸던 선에서 멀리 떨어져 있었다.

이런 일은 흔히 일어나는 일이라고 생각해요.

파트너 간이나 직장 내 인간 관계에서는 “좋은 마음으로 한 행동이 오히려 역효과를 낳는” 것처럼, 지금 이 행동이 최적이라고 생각하더라도 장기적으로 봤을 때, 처음의 본질적인 것을 잃어버린 것 같아.

### AI 시대의 마지막 안전 장치는 인간인지도 모를 일이다.

인더픽(Anthropic)이 예상하는 바는 인간보다 훨씬 더 높은 능력을 갖춘 인공지능입니다.

수천억 달러 규모의 계산 자원을 활용하고, 거대한 데이터 센터에서 움직이며 과학 연구까지 자율적으로 수행할 수 있는 인공지능(AI)이 나올 수도 있습니다. AI만으로도 엄청난 매출을 기록하는 기업이 앞으로 등장할 가능성도 있습니다.

그렇게 고도화된 기술을 만들려고 하는 회사가 결국 의존하는 것이,

인간은 여기서부터 더 나아갈 수 없다고 말할 수 있다는 것

그렇구나, 하고.

## 인간은 자신의 욕망을 어디에서 멈추게 하는가?

그리고 생각해 보면 대부분의 사람들에게도 같은 말이 적용될 수 있습니다.

더 많은 돈을 벌고 싶다.

경쟁 상대에게 뒤쳐지고 싶지 않다.

시대에 뒤처지지 않도록 하십시오.

지금 하지 않으면 나중에 후회할 수도 있습니다.

기업도, 경영자도, 투자자도, 각자 다른 방식으로 같은 목표를 향해 싸우고 있습니다.

인간의 욕망입니다.

더 갖고 싶어. 지고 싶지 않아. 이기고 싶어. 지면 안 돼… 과도한 ‘욕망’이 파멸로 이어지지 않도록 해야겠다고 생각했어.

물론, 그 욕망 자체가 나쁜 것은 아니지만.

더욱 편리한 것을 만들고 싶다.

더 부유하게 살고 싶다.

더 나은 기술을 만들고 싶다.

이러한 욕망이 없다면 기술 혁신은 일어나지 않습니다.

문제는 어디까지나 멈추느냐에 달려 있습니다.

그렇다고 해서, 건전한 욕망과 어디서부터 지나친 욕망으로 넘어가는지 묻는 걸까요.

이를 판단하는 것은 개인의 양심이며, 이념이나 윤리관이라고 할 수 있을 것이다.

### AI는 인간보다 더 똑똑해질 수 있습니다.

AI가 인간보다 현명해진 세상은 어떻게 될까요?

노동에서 해방되어 행복해질 수 있을까, 아니면 일을 잃고 자포자기하며 포기해버릴까.

효율에서 해방되어 행복해질 것인지, 무료함을 타서 자해적인 행동을 할 것인지.

세상은 더 나아질까, 아니면 파멸로 향할까…

앤트로픽이라는 회사는 그 기술 리더로서 세계의 안전한 발전을 상당히 진지하게 생각하고 있는 것 같습니다.

어떤 수준의 AI를 만들어도,

개발까지 얼마나 진행할 것인가.

어디에 공개할까요?

무슨 일을 시키려는 것입니까?

어디에서 이익을 포기할 것인가.

그것을 결정하는 것은 현재까지는 인간입니다.

그렇다면, 인공지능 시대에 진정으로 필요한 것은,

AI가 인간을 능가하기 전에 인간은 스스로의 욕망을 초월할 수 있을까?

그렇게 될 수도 있겠다는 생각이 들었습니다.

저 역시 아직 인생의 전환점을 맞지 않았다고 생각하고 있습니다. 아들 역시 5살이나 되니 앞으로의 여정이 훨씬 더 길 것 같습니다. 우리는 인공지능과의 공존 사회를 살아가야 할 것 같습니다.

그러한 상황이라면, AI가 노동과 생산을 하는 사회에서 인간은 어떤 가치를 지닐까요?

그러면 다양한 욕망들을 어떤 윤리적 기준으로 어떻게 구분할 것인가?

그런 일이 궁금하게 다가온 기사였습니다.

**출처:** [note 원문](https://note.com/okbhrko/n/nf58c05937d76)

*번역: Gemma 3(.44) 초벌 + 교정 95청크*

[원문 보기](https://note.com/okbhrko/n/nf58c05937d76) | 출처: note.com