# 오바마 씨가 묻는 AI 개발 경쟁. AI 기업만의 자율 규제만으로는 의미가 없다

> https://bookfactory.kr/board/ai-tech/18192
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-23T14:00:35.596Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/316268149/rectangle_large_type_2_d9890f60cb2188958074b4b7e9012029.png?width=1280)

AI 기업의 시가총액은 지나치게 부풀려져 있을지도 모른다. 기대되는 미래의 비즈니스도 과장된 것일지도 모른다. 그럼에도 기술 그 자체를 과대평가하고 있다고는 생각하지 않는다.

9월 18일, 미국 뉴욕주 콜게이트대학교에서 열린 대담 행사 'A Conversation with Barack Obama'에서 미국 전 대통령인 버락 오바마는 그런 견해를 밝혔다.

높은 기업가치를 유지하려면 그 기대에 걸맞은 LLM 제공업체의 성장이 필수적이다. AI의 역량을 실제 과제를 해결하는 솔루션 제품으로 전환해 나가야 한다.

## “AI가 AI를 만든다”는 어디까지 왔는가

AI에게 맡기는 일은 AI 자체의 개발에까지 확대되고 있다. 오바마 씨는 인간을 교사에, AI를 학생에 비유하며, 인간이 학습의 90%를 담당하던 상태에서 절반씩 나누게 되고, 나아가 그 비율이 역전될지도 모른다고 설명했다.

Claude를 개발하는 Anthropic은 자사의 AI가 코드를 작성하고 실험을 진행하며 다음 AI의 개발을 돕고 있다고 설명하고 있다. 다만 동시에 완전한 재귀적 자기 개선에는 아직 도달하지 못했으며, 그 실현이 필연적인 것도 아니라고 명시했다.

재귀적 자기 개선이란, AI가 다음 AI를 설계·개발하고, 그 개선된 AI가 다시 다음 개선을 담당하는 것이다. 개선될 때마다 개발 능력도 높아진다면, 인간이 매번 새로 만드는 것보다 더 빠르게 진전할 가능성이 있다고 여겨지는 것이다.

하지만 정해진 범위의 과업을 맡기는 것과 무언가를 창조하는 행위나 발상은 전혀 별개의 것이다. 예를 들어, 무엇을 연구할지 정하고, 결과를 평가하고, 차세대 모델을 완성한다고 해보자. 기존의 것을 토대로 확률적으로 옳다고 판단되는 의사결정을 거듭해 만들어지는 것은 이전보다 미세한 개선에 그치리라는 것이 불 보듯 뻔하다. 왜냐하면 추구하는 목표 자체가 처음부터 옳다고 정의된 닫힌 상자 안에 갇혀 있기 때문이다. 간단히 말해 모든 것이 상정 범위 안에 있다는 것이다.

실제로 Anthropic은 목표를 선택하는 판단에는 인간과의 큰 차이가 남아 있다고 설명하고 있다.

![画像](https://assets.st-note.com/img/1790053503-G8gFISda3XD57swHbCJ4RtK2.png?width=1200)

## 이익을 가져오는 AI 에이전트 개발은 멈추지 않는다

오바마 씨는 암 치료나 청정에너지 연구에 AI를 활용하기 위해 인터넷상에서 폭넓게 활동하며 기밀 정보에도 접근할 수 있는 AI 에이전트까지 일반에 제공할 필요는 없다고 주장했다. 그럼에도 기업들이 프론티어 모델 제공을 서두르는 것은 높은 시가총액에 걸맞은 수익을 내는 제품을 팔아야 하기 때문이라고 말했다.

현재로서는 일반 소비자나 일반 기업이 막연히 믿고 있는 AI의 비약적인 발전과 그 가능성에 시가총액이 매겨져 있다. 그래서 AI Dooming(AI가 인류를 멸망시킬지도 모른다)설이나 멋대로 jail break하여 다른 사이트나 서비스를 해킹했다는 등의 은밀한 브랜딩을 의식한 이상한 스토리가 지면을 뒤덮고 있다.

다만, 이러한 마케팅 주도의 이야기는 언젠가 끝나고, 모두가 실질적인 이득을 보게 될 것이다. 단적으로 말하면, AI를 도입해서 자신에게 어떤 이득이 되는가 하는 이야기다. 기업으로 말하자면, AI를 도입했지만 실제로 투입 공수나 인건비를 절감하고 이익을 창출할 수 있었는지, 새로운 제품을 만들어내는 주기를 앞당길 수 있었는지 등, 그런 것들을 보게 된다는 것이다. 현재로서는 아직 회의적인 시각이 많다는 것이다. 실제로 많은 기업이 앞으로도 AI 도입에 대한 투자를 더욱 확대하겠다는 입장을 보이고 있지만, 현시점에서 이득이 되고 있느냐는 질문에는 과반수가 아니라고 답하고 있다.

프론티어 모델을 개발하는 OpenAI와 Anthropic 모두, "AI는 실제로 자사에 이익을 가져다줄 것인가"라는 질문에 대한 답이 될 만한 것을 개발해야 한다고 느끼고 있다.

## 제공을 서두르는 기업에 안전 판단까지 맡길 수 있을까

프론티어 모델 기업에는 AI를 실질적인 이익을 가져오는 제품으로 제공할 수 있도록 개발을 서두를 동기가 있다. 그들의 상장 시 시가총액, 그리고 상장 후 주가를 생각하면 틀림없이 필요한 요소이다. 그렇기 때문에 이해관계가 완전히 일치하지 않는 기업 자체의 안전 대책만으로는 충분하지 않을 것이다.

또한, 자발적으로 개발을 연기하고 안전성 확보에 주력하는 LLM 제공업체가 있더라도, 경쟁사까지 같은 입장을 취하리라고는 할 수 없다.

일부에서는 문제가 발생한 경우 민사소송이 억지력이 될 것이라는 피상적인 생각을 가진 사람도 있지만, 그것은 지나치게 낙관적이다. 오바마는 그렇게 생각하고 있다.

소송을 통한 책임 추궁에는 손해배상을 피하려는 유인 효과를 어느 정도 기대할 수 있다. 그럼에도 사후 처리로는 회복할 수 없는 성질의 사례가 다수 나타날 가능성이 높다. 예를 들어 기밀 정보가 외부로 유출된 경우, 천문학적인 배상액이 부과된다고 하더라도 그 손해배상금을 마련해야 하는 프론티어 모델 기업도, 회복 불가능한 기업 정보가 유출된 기업도, 양측 모두 파멸의 길로 나아가게 된다.

오바마는 정부 차원의 규제가 필요하다고 주장했다. 그리고 현 단계에서 각 LLM 기업들의 자발적인 자제 움직임을 평가했다. 그러나 그것은 어디까지나 의회와 정부가 나설 때까지 당분간에 한한다는 전제가 붙은 것일 것이다.

## 참고자료

- 포브스 속보: 오바마, AI 위협과 재귀적 자기 개선에 대한 심층 견해와 대응 방안을 제시했다
- Colgate University: Barack Obama와의 대화
- RealClearPolitics: Barack Obama “AI 기술과 위협은 ‘과장된 것이 아니다’”
- MeidasTouch: Obama, 인공지능 규제 촉구하며 빅테크는 스스로를 통제할 수 없다고 경고
- Anthropic Institute: AI가 스스로를 구축할 때

#AI #생성형AI #오바마 #오바마전대통령 #AI에이전트 #AI안전성 #AI규제 #기술 #Anthropic #Claude #AI종말론 #OpenAI #Anthropic #chatgpt #claude

**출처:** [note 원문](https://note.com/2tm/n/n31ec33da746d)

*번역: Gemma 3(.44) 초벌 + 교정 23청크*

[원문 보기](https://note.com/2tm/n/n31ec33da746d) | 출처: note.com