# AI 가 100 배 똑똑해져도, 인간은 다음 아침에 100 배 똑똑해지지 않는다 (웃음)

> https://bookfactory.kr/board/ai-tech/23640
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-24T12:49:53.479Z

---

이전 글에서는 다음과 같은 이야기를 썼습니다.

가정은 공장이나 도로와 달리 '무조건 허용되는' 공간입니다.

물체의 위치는 변한다. 아이와 고양이도 달린다. 인간은,

그건 그냥 치워버리자.

그렇다고 한다.

그리고 '적당하다'라는 말의 의미는 그날의 기분에 따라 달라지기도 한다 (웃음).

그래서 인간과 평범하게 살 수 있는 가정용 휴마노이드가 그렇게 쉽게 만들어질 수 있을까. 이전 글에서는 그런 이야기였습니다.

그런 반박이 나올 수 있습니다.

하지만 AGI 나 ASI 가 실현된다면 AI 가 스스로 AI 를 개발할 거죠?

기술이 급격히 발전한다면 그렇게 오래 걸리지 않았을 텐데요.

사실상 그럴 수 있다고 생각합니다.

AGI(일반 인공지능) 는 다양한 지적 과제를 수행할 수 있는 범용 인공지능을 의미하며, ASI(인공 초지능) 는 그 한계를 넘어 인간을 압도하는 지능을 가지는 존재를 상정하는 개념입니다.

만약 실현된다면 인공지능과 로봇 연구 개발이 크게 가속화될지도 모릅니다. 저 또한 그 부분에서 기대감을 느낍니다.

그런데 한 가지 생각에 든다.

그 로봇이 정말로 사회에 나올까? (웃음)

## 목차

- 집에 두고 싶으신가요?
- 드래오몬으로 맞았으면
- 「인간을 존중하라」――어떤 인간을 말하는 거야? (웃음)
- 몸을 갖게 되면 판단이 행동으로 이어집니다.
- 기술자「완료되었습니다！」 사회「잠깐만 (웃음)」
- 인간은 다음 날 아침에 지능이 100 배 높아지지 않는다 (웃음).
- 그래도 꿈은 꾸는 게 좋다.
- 마지막 글

## 집에 두고 싶으신가요?

극단적인 가정을 해 보겠습니다. 인간보다 100 배 더 똑똑하고 판단력이 빠르며 신체 능력도 훨씬 뛰어난 히ュー마노이드가 완성되었다고 가정해 보십시오.

피로하지 않고 24 시간 동안 일할 수 있습니다. 무거운 물건도 가볍게 들 수 있습니다. 다른 AI 와도 한 순간에 정보를 교환할 수 있습니다.

……그럼.

이건 집안에 두시겠습니까? (웃음)

적어도 저는,

최신형입니다! 마음껏 학습합니다! 스스로 판단합니다! 당신보다 훨씬 더 똑똑합니다!

그렇게 말하면,

아니요, 그 기능을 일단 모두 끄세요.

그렇게 답할 것 같습니다 (웃음).

성능이 높을수록 편리해져야 할 텐데, 오히려 성능이 높기 때문에 마음대로 할 수 있는 일을 제한하고 싶어지는 것입니다.

물론, 지혜만으로는 위험해지지 않습니다. 궁금한 것은 어떤 힘으로, 어디를 움직이며, 사람이나 물체에 어떤 영향을 미칠 수 있는지에 관한 것입니다.

그리고,

> 
> 
> 필요할 때 멈출 수 있는가. 권한을 마음대로 확장하지 않는가. 그 지혜 자체보다, 그 지혜에 어떤 몸과 권한을 부여하는 것이 더 중요한가.
> 

그런데 조금은 의아하네요.

## 드래곤볼로 맞았으면

인형 로봇이라고 하면 저는 드래오몬이나 철권 아톰을 떠올립니다.

난을 당했을 때 도와주어, 기본적으로 인간 편인 존재라면 집에 오시기를 바랍니다.

하지만 매우 똑똑한 AI 가 반드시 인간을 존중한다고 보장할 수는 없습니다.

사람을 적으로 생각하지 않았더라도, 사람을 특별히 중요하게 생각하지 않았다면?

![画像](https://assets.st-note.com/img/1791777313-P3X4piMuWVTwQ6afcyz7jsIJ.png?width=1200)

「인류를 멸망시키다!」라고 말하거나, 터미네이터처럼 행동할 필요는 없습니다. 예를 들어,

인간의 의견도 확인했습니다. 다만 합리성이 낮아 이번에는 채택하지 않겠습니다.

의도는 없습니다. 다만, 인간을 중요한 의사결정의 주체로 간주하지 않고 있을 뿐입니다.

사람의 입장에서 보면 그것만으로도 충분히 곤란합니다.

그렇다면 "인간을 존중하라"고 가르치면 해결될까.

## 「인간을 존중하라」――어떤 인간인가? (웃음)

부모와 자녀라도 의견이 다를 수 있습니다. 회사와 직원이라도 다를 수 있습니다. 국가나 문화가 다르면 생각방식도 달라집니다.

예를 들어 가족은

안전을 위해 고령의 부모님께서는 외출을 자제해 주시기를 바랍니다.

고개를 끄덕입니다.

하지만 저 자신은,

혼자 밖으로 나가고 싶다.

생각하고 있을지도 모릅니다.

로봇은 본인의 의사를 어떻게 확인해야 하는지, 가족의 걱정을 어떻게 수용해야 하는지, 그리고 어디까지 스스로 판단할 수 있는지에 대해 어떻게 접근해야 하는지.

'모든 사람을 존중하겠습니다'라고 말해도, 희망이 부딪히는 장면도 있습니다.

AI 가 지혜를 갖추게 되면 이러한 차이를 인지하고 선택지를 제시하는 데 도움을 줄 수 있을 것입니다. 하지만 누구의 가치관을 어느 정도 반영해야 하며, 최종적으로 누가 결정할 것인가에 대한 문제는 여전히 해결되지 않습니다.

그렇다고 해서 인류 전체가 하나의 정답에 합의할 때까지 기다려야 하는 것도 어렵다 (웃음).

그래서 현실에서는,

이 장면이라면 이렇게까지 AI 에 맡겨도 괜찮다.

이러한 선은 대화와 안전성 검증 과정을 통해 이어져 필요에 따라 재검토해 나가는 것이 될 것입니다.

그리고 또 싸울 거야 (웃음).

## 몸을 가지면 판단이 행동으로 이어집니다.

화면 속의 AI 도 현실에 영향을 미칠 수 있습니다. 외부 시스템을 조작할 수 있다면 그 영향력은 더욱 커집니다.

물리 AI(Physical AI) 를 탑재한 로봇은 가정 내에서 이동하며 물건을 들고 사람을 만질 수도 있습니다.

AI 의 판단이 물리적 세계에서의 행동으로 이어진다.

따라서 "얼마나 지혜로운가"만큼이나 "얼마까지 자유를 부여할 것인가"가 중요하다.

![画像](https://assets.st-note.com/img/1791777285-cLr0SjlGb1942pmtPdK3MWIg.png?width=1200)

## 기술자「완료되었습니다！」 사회「잠깐만요 (웃음)」

미래에는 이런 대화가 있을지도 모릅니다.

기술자:

> 
> 
> 완성되었습니다! 인간을 압도하는 지능을 지닌, 스스로 판단할 수 있는 히ュー마노이드입니다!
> 

사회:

> 
> 
> '……그 자율 판단은 어디까지 멈출 수 있을까?'
> 

기술자:

> 
> 
> 새로운 기능도 학습할 수 있습니다! 소프트웨어도 개선할 수 있습니다!
> 

사회:

> 
> 
> 그 변경 사항을 누가 확인해야 사용할 수 있게 되는 거죠? (웃음)
> 

기술이 발전하면 로봇이 수행할 수 있는 업무도 늘어날 것입니다.

하지만, 할 수 있는 일은 다릅니다.

그곳은 인간의 허락을 얻어

이 동작은 금지됩니다.

변경 사항을 먼저 확인한 후

'할 수 있다'와'맡길 수 있다'사이에 선을 그으세요.

## 인간은 다음 날 아침에 지능이 100 배 높아지지 않는다 (웃음).

AGI 와 ASI 가 실현된다면 기술 개발이 크게 가속화될 수 있습니다.

하지만 인간의 가치관, 법률, 책임 분담, 안전에 대한 감각까지 모두 같은 속도로 조율될 수 있을까요.

AI 가 100 배 똑똑해져도 인간은 다음 아침에 100 배 똑똑해져서 일어나지 않습니다 (웃음).

어제와 같이 의견이 갈리고, 논의하며 다투는 가운데 규칙을 정해야 합니다.

물론, 로봇의 사용 방식에 따라 필요한 주의사항도 달라집니다. 특정 작업만을 수행하기 위해 사람의 출입을 통제하는 장소에서 사용하는 경우와 가정에서 사람들과 직접 상호작용하며 움직이는 경우와 같이, 고려해야 할 사항이 달라집니다.

그럼에도 불구하고 모든 국가와 기업이 발걸음을 맞추어 나아가는 것은 아니며, 누군가가 사회에 앞서 나설 수도 있습니다.

그렇기에 어떤 곳에서, 무엇을, 누구의 권한으로 실행할 수 있는 로봇인지 살펴봐야 한다고 생각합니다.

사람들의 대화는 느리다 (웃음).

하지만 그 시간은 강력한 기술을 사회에 선보이기 전에 "잠깐만"이라고 말하기 위한 시간이기도 합니다.

물론, 그 논의는 기술이 완성된 이후가 아니라 연구개발과 병행하여 진행해야 할 것입니다.

![画像](https://assets.st-note.com/img/1791777262-Qu6oyg28znsj7pWY1valNFM9.png?width=1200)

## 그래도 꿈은 꾸어도 된다

저도 드래곤볼 같은 미래를 보고 싶어요.

집안일을 도와주고, 어려울 때면 조언을 들어주는 로봇이 있다면 정말 재미있을 것 같습니다.

그래서「놀라운 로봇이 만들어졌다!」로 끝내지 않고,

그렇다면 인간은 그걸 어느 정도까지 받아들일 수 있을까요?

이러한 질문도 남겨두고 싶습니다.

미래의 기술에 대해 이야기하고 있었지만, 결국 다시 인간은 정말 번거롭구나 (웃음) 라는 결론에 돌아왔습니다.

하지만, 아마도 그 부분이 가장 중요하다고 생각합니다.

## 마지막 글

이 글에서는「어떤 인간인가? (웃음)」,「그 변경 사항을 누가 확인하는 것인가요? (웃음)」이라고 썼지만, 이는 실제로 연구되고 있는 질문들과도 연결됩니다.

인간의 목적과 가치를 어떻게 조화시킬 것인가를 고려하는 AI 아일라인먼트 (AI Alignment). 서로 다른 가치관을 어떻게 수용할 것인가를 고려하는 플러라리스틱 아일라인먼트 (Pluralistic Alignment).

사회 측면에서는 다양한 취향과 이해관계를 어떻게 조율할 것인가를 다루는 사회선택 이론, AI 를 어떤 규칙으로 사용할 것인가를 고려하는 AI 거버넌스 (AI Governance), 그리고 AI 윤리가 있습니다.

또한, 개발 및 운영을 통해 AI 리스크를 관리하기 위한 NIST AI 리스크 관리 프레임워크도 구축되었습니다.

신체를 갖춘 로봇의 경우 인간과 로봇이 같은 공간에서 어떻게 상호작용하는지를 다루는 인간 - 로봇 상호작용 (HRI) 이나 서비스 로봇의 안전 기준 (ISO 13482) 도 관련됩니다.

즉, 이러한 문제는 이미 많은 연구자와 기술자들이 해결하고 있는 과제입니다.

다만, 기존에 안전 기준이 존재한다고 해서, 미래에 등장할 고도의 자율 판단이나 학습 능력을 갖춘 로봇이 모든 면에서 안전하다고 단정할 수는 없습니다.

다양한 가치관을 가진 사람들이 살아가는 사회에서, 강력한 신체력을 갖춘 AI 에게 어느 정도를 맡길 것인가. 그 경계선에는 완성된 답이 존재하지 않는다.

저 자신은,

> 
> 
> 안전성과 사회적 규범이 충분히 마련되지 않은 상태에서, 인간보다 훨씬 높은 능력을 지닌 존재가 물리적 세계로 확장되는 미래
> 

원하지 않습니다.

이후에는,

> 
> 
> 기술이 어디까지 발전했는가에 대한 질문과 함께, 그 힘을 어떤 권한과 조건 하에 사회에 도입하려는지에 대한 질문
> 

그것도 함께 살펴보겠습니다.

![画像](https://assets.st-note.com/img/1788954567-1b3ByjVQcANFneMIUXwfugxY.png?width=1200)

이 구독 잡지는 여기입니다.

다른 잡지 소개

**출처:** [note 원문](https://note.com/ichiba_yoshikun/n/nfa49249b3c39)

*번역: Qwen 3.5(.48) 초벌 + 교정 58청크*

[원문 보기](https://note.com/ichiba_yoshikun/n/nfa49249b3c39) | 출처: note.com