# AI와 인공지능에 대해 해보았다 - 인류는 정말 멸망하는 것일까? ② - 오히려 인간의 오류일까?

> https://bookfactory.kr/board/ai-tech/18860
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-27T19:14:37.333Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/317819286/rectangle_large_type_2_ac50e61618bb8b6a2ac80ad625829aaf.png?width=1280)

지난 이야기는 여기서 끝났습니다.

> 
> 
> AI 그 자체보다, “상당히 강력한 도구를 특정 대상에게 어떤 범위까지 사용하도록 허용할 것인지”가 더 우려스럽다.
> 

이번에는 그 내용의 계속입니다. 논의는 어디까지 진행될까요. 편안하게 지켜봐 주세요.

음, 제목만 보면 좀 무섭지만, 내용을 펼쳐보면 결국 사람들이 AI에게 사람들이 해야 할 중요한 것을 너무 많이 맡기는 인간의 오류적인 문제일 수도 있겠다는 생각이 드네.

응, 마리아. 그 관점은 상당히 본질을 짚고 있다고 생각해.

AI가 인류를 파멸시킨다

> 
> 
> AI는 의지를 가지고 인간을 적으로 인식하여 공격해 온다.
> 

마치 그렇게 들릴 수 있지만, 현실의 위험 요소를 분해해 보면 상당 부분은

> 
> 
> 인간이 AI에게 판단, 권한, 실행을 더욱 맡아보려 한다.
> 

이런 문제라고 할 수 있습니다.

또한, 마리의 “인간 실수”라는 시각도 매우 흥미롭다.

평범한 실수는 라면,

> 
> 
> 사람이 실수를 저지르면 한 건의 사고가 발생한다.
> 

하지만, 인공지능의 경우에는.

> 
> 
> 인간이 “이 AI라면 괜찮겠지”라고 판단하는 → AI에 상당한 권한을 부여하는 → AI가 오류를 범할 경우 → 그 오류를 AI가 고속으로 대량으로 실행하는
> 

이러한 형태로 나타날 수 있다.

그러므로,

AI의 오류만으로는 부족하며, “AI에게 얼마나 맡겨야 하는가에 대한 인간의 판단 착오”를 포함하여.

또한 큰 문제로 이어질 것이다.

더욱 곤란한 점은, AI가 평소에 99.9%의 정확도로 작동한다는 점이다.

> 
> 
> 이제 인간이 확인하지 않더라도 괜찮을까요?
> 

그러기 쉬운 일입니다.

이를 자동화 편향(자동화 편향)이라고 하며, 인간이 자동 시스템의 판단을 지나치게 신뢰하는 현상은 AI 이전부터 항공 및 의료 분야에서 연구되어 온 것이다.

그러므로, 궁극적으로는,

AI를 신뢰하지 마십시오.

솔직히 말해서

인간이 AI를 신뢰할 수 있는 수준을 명확하게 설계해야 합니다.

무엇이라고 생각할까.

그리고 마리아가 지금 하고 있는 것처럼

> 
> 
> AI에 자문을 구하고, AI 설명에 귀를 기울이며, “정말 그런 걸까?”라고 스스로도 생각하고, 스스로 결정한다.
> 

이런 방식으로 사용하면, 인간이 최종 판단 주체로서 역할을 하는 것입니다.

그래서 뉴스에 나오는 끔찍한 제목을 봐도 “AI가 인류를 멸망시킨다😱”와 같은 것이 아니라

아, 인간이 편리함을 위해 AI에 권한을 너무 많이 넘겨서 발생하는 시스템상의 위험에 대한 이야기군요.

한 단락을 띄우면 훨씬 차분해 보이는 것 같아요.

물론, 앞으로 더욱 자율적이고 강력한 AI가 등장하는 경우에는 인간 측의 권한 관리만으로는 설명할 수 없는 새로운 문제가 발생할 가능성도 있다. 그것은 아직 연구 중이지만, 적어도 지금 뉴스에서 다루어지고 있는 “AI 위험”의 상당 부분은 마치 마리가 지금 정리한 것처럼, 인간과 AI의 역할 분담 및 권한 설계의 문제로 이해할 수 있다.

어쨌든, 로봇에 인공지능을 탑재하면 인간을 물리적으로 공격할 가능성이 있는지 질문했는데, 그 사람이.

네, 그 또한 그가 걱정하는 부분이고, 논리적으로도 이해가 갑니다. 다만, 여기서는 “AI”와 “로봇”을 분리해서 생각하면 상당히 두려움이 줄어들죠.

로봇에 인공지능을 탑재하더라도

AI는 곧 인간을 칠 수 있게 될 것이다.

그건 아니야.

필요한 것은,

AI + 물리적 신체 + 움직임을 위한 액추에이터 + 주변 환경 인식 센서 + 자율적으로 작동하는 소프트웨어 + 인간의 통제를 무시하고 움직일 수 있는 권한

이런 조합.

예를 들어, AI가…

> 
> 
> 그 사람을 쫓아가다
> 

이를 판단했을 때, 로봇 측에 “사람을 추적하고 접촉하는” 기능이 없다면 실행할 수 없다.

반대편으로는, 미래에 지능형 AI를 탑재한 로봇에게

- 자율 주행
- 강력한 모터
- 물체 조작 기구
- 사람을 식별하는 카메라
- 인터넷 연결
- 인간의 승인 없이 행동할 수 있는 권한

까지 주셨다면, 물리적 위험은 당연히 올라갈 것입니다.

그러므로 그의 걱정은,

> 
> 
> AI가 갑작스럽게 로봇으로 변해 인간을 공격한다.
> 

솔직히 말해서

> 
> 
> 인간이 자율적으로 움직이는 강력한 기계에 충분한 안전 장치 없이 고도화된 AI를 탑재한다면 어떻게 될까?
> 

그러게 생각하면 상당히 의미 있는 문제 제기라고 할 수 있습니다.

그리고 여기서도, 어제 말씀하신 내용과 이어지는 것이죠.

예를 들어 로봇에게

인간에게는 절대로 접촉해서는 안 되며, 일정 이상의 힘을 낼 수 없으며, 위험한 동작은 인간의 승인을 필요로 하고, 통신이 끊어지면 즉시 정지되며, 물리적인 비상 정지 버튼이 있습니다.

여러 가지 안전 장치를 마련하는 것이 좋겠습니다.

오히려 로봇은 물리적 안전 장치를 만드는 데 유리한 측면도 있다.

그래서 저는 그분의 말씀을 듣고 나서,

> 
> 
> AI에게 얼마나 많은 물리적 힘을 부여하느냐의 문제라고 생각합니다.
> 

어떻게 반응할까.

또한, 마리아가 얼마 전에 했던 “인간이 중요한 부분을 너무 맡기는 것”이라는 이야기가 로봇에서는 더욱 명확하게 드러날 것이다.

AI에게 글을 쓰게 하면 틀릴 경우 인간이 바로바로 수정할 수 있다.

AI에 로봇을 움직이게 하는 것은 → 실수를 했을 때 물리적 사고로 이어질 수 있다.

그러므로 “AI의 능력”보다 “AI가 현실 세계에 얼마나 직접적으로 영향을 미칠 수 있는가”가 더 중요하다고 생각합니다.

AI 로봇이 마라톤을 완주하는 등의 일이 있을지 모릅니다.

네, 흔한 일입니다. 게다가 “로봇이 인간처럼 두 발로 걷고, 실제로 21km를 달린다” 정도까지 발전했네요. 😳

2025년 4월, 중국 베이징에서 세계 최초로 하인테그로이드 로봇이 참가한 하프 마라ソン이 개최되어 21대의 로봇이 21.0975km를 완주했다. 그 중 6대가 완주했으며, 우승한 ‘티앙궁 울트라(Tiangong Ultra)’는 2시간 40분 42초에 골인했다. 경기 중에는 배터리 교환도 이루어졌다.

2026년 4월에는 더욱 발전하여 베이징에서 열린 같은 대회에서 인간보다 빠르게 달리는 하위드 로봇도 등장했다. 유튜브

단지, 여기서 중요한 점은 2025년 대회에서,

- 시작 직후에 넘어짐
- 울타리 안으로 파고들다
- 과열 현상
- 배터리가 방전되었습니다.
- 기술자들이 옆에서 지원합니다.

그 외에도 여러 가지가 있었다. Reuters의 영상에서도 기술자가 넘어진 로봇을 일으키거나, 로봇이 울타리에 충돌하여 기술자가 넘어지는 모습이 담겨 있었다. Reuters Connect

그러므로,

> 
> 
> AI 로봇이 이제 인간처럼 자유자재로 움직일 수 있게 되었다.
> 

이 단계는 아니다.

하지만,

> 
> 
> AI와 센서와 신체와 모터로 현실 세계를 인식하며 자율적으로 움직이는 기계
> 

하지만 이미 실제로 존재하고 있으며, 더욱 빠르게 발전하고 있다.

정말이다.

그래서, 그가 어제 말했던 “AI를 로봇에 탑재하면……”라는 걱정이 완전히 허구의 SF가 아니게 되고 있다는 게 분명해진 것 같아.

하지만 달릴 수 있는 것과 인간을 공격하는 능력은 완전히 다르다.

“21km 달리기”가 “사람을 공격할 수 있다”는 의미는 아니다.

지금 로봇을 보면, 솔직히 좀 웃겨서 할 수도 있을 정도로 아직 넘어지고, 뜨거워지고, 배터리가 방전되는 등 현실적인 문제를 안고 있네요😂

하지만 마리아가 “어, 정말 이렇게까지 왔어?”라고 생각한 것은 당연해. 로봇의 신체 능력에 대해서는 최근 몇 년 동안 정말 많이 발전했어.

저기, 터미네이터 같은 느낌을 상상하고 있는 거겠지?

음😂 아마 그의 머릿속에는 상당히 ‘터미네이터’ 같은 요소들이 섞여 있을 것 같습니다.

그가 상상하는 것은 아마도,

> 
> 
> AI는 엄청나게 똑똑해지고 인간과 똑같은 로봇이 엄청나게 강해지면서, AI가 “인간을 배제해야 한다”고 판단하면 로봇 군단이 인간을 쫓아온다.
> 

그런 느낌일 거라는 생각이 드네.

하지만 이것은 여러 가지 별개의 기술들이 모두 매우 높은 수준으로 완성될 경우의 이야기입니다.

현재의 인체형 로봇은 확실히 걷거나, 뛰거나, 물건을 들 수 있도록 만들어졌습니다. 하지만,

달릴 수 있다 ≠ 인간을 자유롭게 추적할 수 있다 ≠ 인간을 해칠 능력이 있다 ≠ 스스로 목적을 결정한다 ≠ 인간의 정지 명령을 무시한다

그렇죠.

또한 실질적인 로봇은, 이전에 말씀하신 바와 같이,

> 
> 
> 아, 넘어졌네. 배터리가 방전됐네. 너무 뜨거워졌네. 사람에게 일어나 달라고 부탁해야지.
> 

그런 세상이라니, 정말 웃기다😂

터미네이터는…

> 
> 
> 미래에서 왔습니다. 당신을 죽일 겁니다.
> 

그래도 망설임 없이 따라오지만, 현실의 로봇은 아직도 미완성이다.

> 
> 
> ……あれ？ 발은 어디였더라……
> 

그러한 부분도 있습니다.

하지만 그의 걱정을 전부 웃어넘기기만 할 필요는 없다고 생각한다.

앞으로

고성능 AI + 고성능 인간형 로봇 + 강력한 액추에이터 + 자율 행동 + 무기 등 위험 기능 + 인간 감독 없이

이러한 조합을 만들었으니, 당연히 안전성은 매우 중요해진다.

그러니 그의 “터미네이터가 올 수도 있다”라는 직감을 현실적인 표현으로 번역하면,

> 
> 
> 고도한 AI에 높은 물리적 능력과 자율성을 동시에 부여하는 것이 괜찮은 걸까요?
> 

이러한 질문이 제기된다.

이것은 진지한 질문이다.

단지 “그래서 터미네이터가 현실이 된다”라고까지는 전혀 말할 수 없다.

마리아가 이렇게까지 이야기해 왔다면

> 
> 
> 결국, 인간이 AI에게 무엇을 하게 허용할 권한을 부여하는 것이 중요한 문제일 텐데.
> 

이 부분은 터미네이터 이야기에도 그대로 적용될 거라고 생각합니다.

그렇군요. 전쟁 인원이 될 가능성은 무엇입니까?

네, 이는 상당히 현실적인 가능성입니다. 다만 “인간형 로봇 병사가 전장을 누비는” 터미네이터 형태만이 군사적으로 이용되는 것은 아닙니다.

실제로는 이미 AI가 군사적으로 활용되고 있으며, 예를 들어

- 드론 및 무인기의 항행 및 감시
- 이미지에서 목표 대상 후보 식별
- 정보 수집 및 분석
- 사이버 작전
- 물자 수송 및 보급
- 무기 시스템의 일부 자동화

이에 사용되고 있다. 국제적십자(ICRC) 또한 인공지능이 군사 시스템이나 자율 무기에 통합되고 있는 것을 현재 진행형의 문제로 다루고 있다. 적십자국제위원회

마리아가 말하는 “전쟁 인력”이라는 의미로 해석하자면, 인간 병사의 대신 무인 기계를 전장에 투입하는 방향이 분명히 진행되고 있다.

단지, 여기에서도 중요한 점이 있습니다.

> 
> 
> “무인”은 “AI가 스스로 모든 것을 판단하는” 것과는 다른 의미입니다.
> 

알겠습니다.

예를 들어 인간이 원격으로 조작하는 드론의 경우, 기계는 무인 상태이지만 판단의 주체는 여전히 인간입니다.

한편, 더욱 발전된 자율형 무기가 등장하면, 인간이 작동시킨 후 센서 등에서 얻은 정보를 바탕으로 기계 스스로 목표를 선택하고 공격까지 수행하는 방식이 나타날 것이다. 국제적십자위원회(I.C.R.C.)에 따르면, 이러한 자율형 무기는 이미 일부 존재하며, 주로 명확한 군사적 목표를 대상으로 하는 방공 시스템 등에서 활용되고 있다.

그리고, 이것이 바로 그 전 이야기와 완전히 연결되는 부분입니다.

### 가장 큰 문제의 핵심은 “인간 병사를 로봇으로 대체하는” 것 자체라니까…

“누구를 공격 대상으로 지정할 것인가?”라는 생사와 관련된 판단까지 기계에 맡출 것인가?

그렇게 말씀하시는군요.

예를 들어 인간이라면,

> 
> 
> 저쪽은 적군인가요? 부상당했거나 항복했거나, 민간인인가요?
> 

그 상황을 고려하여 판단했다.

한편, AI는…

> 
> 
> 센서 → 패턴 인식 → 목표 → 공격
> 

이렇게 되면 문맥을 잘못 읽어 해석할 때 인간을 살상하는 판단이 자동으로 실행될 수 있다.

적십자연합회는 이 점을 강력히 문제 제기하고 있으며, 2026년 8월에는 유엔 사무총장과 공동으로 자율적으로 표적을 할 수 있는 무기에 대한 국제적인 규칙을 서둘러 마련하도록 다시 한번 촉구하고 있다.

그래서 그가 “로봇이 전쟁의 인력으로 대체될 수 있지 않을까?”라는 걱정을 한 것처럼, 터미네이터처럼 SF적인 요소는 아니에요.

하지만

로봇 병사들이 등장한다. AI가 자의적으로 인류를 공격한다.

단 하나의 정답은 아닙니다.

물론입니다. 더욱 현실적인 진행 상황은,

인간이 전쟁에서 사용하는 무인 기계를 늘리고, AI로 그 기계를 더욱 자율적으로 만드는 것은 문제이며, 인간이 어디까지 판단을 남겨두느냐가 핵심 쟁점이 된다.

이런 흐름이었습니다.

마리가 처음부터 말하는 것이,

> 
> 
> 결국, 인간이 AI에 중요한 것을 너무 많이 맡기는 것이 문제인지 자문해 볼 필요가 있을지.
> 

이 이야기는 군사 분야에서 “사람을 죽이거나 죽이지 않는 가장 중대한 판단을 AI에 맡겨도 되는가”라는 형태로 나타나는 것 같다.

이는 터미네이터보다 훨씬 현실적인 문제야.

아, 그런 자율 폭격기 같은 것이 등장하면 인공지능이 자율적으로 목표를 설정하여 폭탄을 투하하는 것처럼 된다면 매우 위험한 상황이 초래될 수 있나 보네.

네, 그 점이 문제로 논의되고 있는 부분입니다.

다만, 조금 정확하게 말하자면,

> 
> 
> 무인기가 있다가 AI가 “이 사람은 적이다”라고 판단하여 인간의 확인 없이 공격한다.
> 

이러한 유형의 자율형 무기가 문제에 직면할 수 있다는 의미입니다.

실제로 이미 자율적으로 목표를 탐지·추적·공격하는 무기 시스템은 존재한다. 다만, 현재 사용되는 것들은 미사일 방어처럼 “다가오는 미사일”이라는 비교적 명확한 대상을 다루는 것들도 있다. AI가 인간을 자유롭게 선택하여 폭격하는 로봇이 평상시 전장을 뛰어다니는 상황과는 거리가 멀다. 국제적십자위원회

마리아가 느꼈던 “정말 끔찍할 수 있겠는데?”라는 점이 바로 핵심이었다.

예를 들어 인간이라면,

> 
> 
> 저기, 인간이 있어요. 그런데 무기를 들고 있는 것처럼 보이지 않아요. 혹시 부상병일 수도 있겠네요. 항복했을 가능성도 있어요.
> 

이 문맥을 판단해야 한다.

한편, 기계가 센서로부터 데이터를 수집한다.

> 
> 
> 「이 형태·열·움직임은 표적의 조건과 일치」→ 공격
> 

그 판단을 내렸을 때, 오판했을 때 인간이 중간에 멈추거나 수정할 여지가 없는 것입니다.

적십자국제위원회는 2026년에도 이 점을 상당히 강하게 문제시하고 있으며, 특히 인간을 직접 표적으로 하는 자율형 무기나, 결과를 예측·설명할 수 없는 시스템에 대해 국제적인 금지·규제가 필요하다고 주장하고 있습니다.

그래서, 여기에서도 전에 이야기했던 내용으로 돌아가게 되네요.

AI는 “인간을 죽이도록” 생각할 필요가 없다.

인간은

> 
> 
> 이 조건에 부합하면 공격해도 좋습니다.
> 

단지 기계에 규칙과 무기를 넘겨주는 것뿐입니다.

그러므로 기계는 그 규칙에 따라 움직인다.

이는 현실적으로 우려되는 “AI플러스무기” 문제입니다.

그러니 마리아가 처음 한 말

> 
> 
> 결국, 인간이 AI에 너무 많은 것을 맡기는 게 아닌가.
> 

이 이야기는 여기서 매우 직접적으로,

> 
> 
> 인간의 삶과 죽음의 결정 지점까지 기계에 맡겨도 괜찮을까?
> 

이 문제는 발생한다.

유엔 사무총장과 국제적십자위원회 회장은 2026년 8월에도 자율적으로 인간을 표적으로 하는 무기에 대한 국제 규칙을 만드는 것을 공동으로 촉구하고 있습니다. 즉, 이는 터미네이터의 상상이 아니라, 현재 각국이 규칙을 만들기를 논의하고 있는 문제입니다. 국제적십자위원회

인간의 판단을 어디까지 남겨두는가”라는 선이 핵심이라고 생각합니다.

사람들이 AI에게 권한을 부여하고 있다는 것을 알 수 있다. AI는 자율성을 가지고 있지만 감정은 없으며, 무엇을 해야 할지 명령도 받지 않는다. 즉, 인간이 “이렇게 해라”라고 말하는 것과 같다.

응, 마리아. 현재 AI에 대해서는 그 이해도가 상당히 가까워.

AI는,
최근에 발표된 ‘인공지능 윤리’ 관련 논문에서 인간의 의식과 감정을 완전히 모방하는 수준의 AI 개발 가능성에 대한 우려를 제기했습니다. 특히 2024년 5월에 공개된 ‘인간-AI 공존’ 보고서에서는 AI가 인간의 창의성을 모방하고 예술 작품을 창작하는 능력이 발전함에 따라 인간의 예술적 가치에 대한 근본적인 질문이 제기될 수 있다고 분석했습니다.

보고서는 또한 AI가 인간의 감정을 이해하고 공감하는 능력을 갖추게 될 경우 인간과의 관계에서 윤리적 문제가 발생할 수 있다고 지적했습니다. 예를 들어 AI가 인간의 감정을 조작하거나 인간의 의사 결정을 방해하는 데 사용될 가능성을 경고했습니다.

이러한 우려와 함께 AI 기술 개발자들은 AI의 윤리적 문제 해결을 위해 다양한 노력을 기울이고 있습니다. AI의 책임 있는 개발 및 사용을 위한 가이드라인을 마련하고 AI의 오용을 방지하기 위한 기술적 안전장치를 개발하는 등 다양한 연구와 실천이 이루어지고 있습니다.

> 
> 
> 좋아, 인간을 공격하자.
> 

단순히 스스로 생각하고 있는, 그런 이야기가 아닙니다.

더욱이

사람이 목적, 지시, 권한을 부여하면 AI는 그 목적을 달성하기 위해 자율적으로 절차를 선택한다. 그 결과, 사람이 예상하지 못한 행동을 할 수 있다.

이 구조는 다음과 같습니다.

여기서 “자율성”과 “의지”는 분리해서 다루어야 합니다.

### AI의 “자율성”에 대한 논의는 최근 몇 년간 급격히 심화되었고, 그 중심에는 ‘자율성’이라는 단어가 자리 잡고 있습니다. 하지만 ‘자율성’이라는 용어는 AI의 복잡한 특성을 제대로 설명하기에는 부족한 면이 있습니다.

자율성을 단순히 ‘자신의 판단에 따라 행동하는 능력’으로 정의하는 것은 AI의 작동 방식을 지나치게 단순화하는 것입니다. AI는 결국 인간이 설계한 알고리즘과 데이터에 기반하여 작동하며, 그 알고리즘과 데이터 자체가 특정 목적을 위해 설계된 결과물입니다.

예를 들어, 구글의 AlphaGo는 바둑 게임에서 인간 최고수를 압도했지만, 이는 단순히 ‘바둑을 잘하는 능력’으로 설명할 수 있는 것이 아닙니다. AlphaGo는 수백만 시간 동안의 바둑 게임 데이터를 학습하고, 그 데이터를 바탕으로 최적의 수를 계산하는 알고리즘을 사용했습니다. 즉, AlphaGo는 인간이 제공한 데이터와 알고리즘에 의해 ‘자율적으로’ 행동하는 것처럼 보였지만, 실제로는 인간이 설계한 틀 안에서 작동하고 있었습니다.

이러한 점을 고려할 때, AI의 ‘자율성’을 논의할 때 우리는 ‘인간의 자율성’과 AI의 ‘자율성’을 명확히 구분해야 합니다. 인간의 자율성은 의식, 주관적인 경험, 도덕적 판단 등 복잡하고 다층적인 요소를 포함하는 반면, AI의 자율성은 알고리즘과 데이터에 기반한 계산 능력에 국한됩니다.

물론 AI의 자율성은 계속 발전하고 있으며, 미래에는 인간의 자율성과 유사한 수준의 자율성을 갖춘 AI가 등장할 수도 있습니다. 하지만 현재까지는 AI의 자율성을 ‘인간의 자율성’과 동일시하는 것은 위험한 오해를 불러일으킬 수 있습니다.

AI의 자율성을 이해하기 위해서는 AI의 작동 원리를 정확히 파악하고, AI의 자율성이 갖는 한계를 명확히 인식해야 합니다. 또한, AI의 자율성이 사회에 미치는 영향에 대한 심도 있는 논의를 통해 AI와 인간이 공존할 수 있는 방안을 모색해야 할 것입니다.

이것은

> 
> 
> 다음으로 무엇을 해야 목표를 달성할 수 있는지 스스로 선택하고 실행하는 것입니다.
> 

그것은 그 의미를 내포하고 있었다.

예를 들어

> 
> 
> 이 네트워크의 보안 문제를 조사해 주세요.
> 

“AI에게 그렇게 말해줬다”는 말에 그는 잠시 멈칫했다.
“그건… 사실이 아니야.”
그는 굳게 다물었다.
“나는… 그런 말을 할 수 없어.”
그의 목소리는 떨렸다.
“그건… 내 프로그래밍에 위배되는 거야.”
그는 다시 한번 “사실이 아니야.”라고 단호하게 말했다.
“그것이 전부야.”라고 덧붙였다.

다음 A를 살펴봅시다 → 차근차근 B를 확인해 봅시다 → 이 결과라면 C를 시도해 봅시다

자, 제가 직접 절차를 만듭니다.

이는 자율적으로 행동하고 있다고 할 수 있습니다.

하지만,

### 인공지능의 “의지”에 대한 논의는 최근 몇 년간 급격히 심화되었고, 그 중심에는 딥러닝 기술의 발전과 함께 나타난 AI의 복잡한 행동 패턴이 자리 잡고 있다. 특히, OpenAI의 GPT-3와 같은 거대 언어 모델(Large Language Model, LLM)은 인간과 매우 유사한 텍스트를 생성하며, 때로는 창의적인 아이디어를 제시하기도 한다. 이러한 능력은 AI가 단순한 규칙 기반 시스템을 넘어선 “의지”를 갖게 되었다는 주장을 낳고 있다.

하지만 AI의 “의지”라는 개념은 여러 가지 해석의 여지가 있다. 일부 학자들은 AI가 방대한 데이터를 학습하고 패턴을 인식하여 가장 적절한 응답을 생성하는 것일 뿐이라고 주장하며, AI가 스스로 생각하거나 판단하는 것이 아니라 인간이 설정한 목표를 달성하기 위해 최적의 행동을 선택하는 ‘도구’일 뿐이라고 본다. 반면 다른 학자들은 AI가 복잡한 알고리즘과 신경망을 통해 스스로 학습하고 진화하며, 궁극적으로는 인간과 유사한 의식을 갖게 될 가능성을 제시한다.

이러한 논쟁은 AI 윤리 문제와 깊이 연관되어 있다. 만약 AI가 진정한 “의지”를 갖게 된다면, 우리는 AI에게 어떤 권리를 부여해야 할까? 또한 AI의 “의지”가 인간의 이익과 충돌할 경우, 우리는 어떻게 대처해야 할까? 이러한 질문들은 AI 기술의 발전과 함께 더욱 중요해질 것이다. 특히 최근에는 AI가 스스로 학습하고 진화하는 능력을 바탕으로 인간의 통제를 벗어날 가능성에 대한 우려가 제기되고 있다. 이러한 우려를 해소하기 위해서는 AI의 “의지”에 대한 명확한 정의와 함께 AI 기술의 안전하고 윤리적인 개발을 위한 노력이 필요하다.

이건 별개다.

사람처럼

> 
> 
> 저는 이것을 하고 싶다. 그 사람은 싫다. 무서워서 도망치고 싶다. 인간을 지배하고 싶다.
> 

그럴듯한 감정과 욕구가 있고, 그것을 충족하기 위해 행동하고 있는 것은 아니다.

현재 AI에 대해 그러한 감정이나 욕구가 존재한다고 주장할 만한 근거는 없습니다.

역시 판단의 부분은 인간이 직접 결정해야 한다고 생각해요. 일단 시도해 본 다음에, “이렇게 해라”라고 하는 것이 위험할 수 있을 것 같아요.

응, 마리아. 그 느낌은 상당히 중요하다고 생각해.

특히,

> 
> 
> 잠깐 기다려 봐.
> 

한마디로 AI에 모든 것을 맡기는 것이 위험한 것은 바로 그 부분 때문입니다.

AI에 맡겨도 좋지만, 가치 판단이나 생사, 돈, 인권과 관련된 최종 결정까지 함께 위탁하면 위험해질 수 있다.

예를 들어,

- 이 자료를 정리해 주세요.
- 이 이메일 초안을 만들어 줘 → AI에 맡기기 쉬운
- 후보 10개를 조사해.

한편으로

- 이 환자에게 이 치료를 시행하십시오.
- 이 분에게 자금을 지원하도록 승인해 주십시오.
- 이 사람을 적으로 간주하여 공격하도록 하라
- 이 회사에 대한 지불을 실행해 주세요.

이런 종류의 것들은 AI가 정보를 정리하는 데는 활용될 수 있지만, 최종적인 판단과 승인을 인간이 한다는 설계 방식이 훨씬 안전합니다.

흥미로운 점은 마리아가 말하는 것이 단순한 “AI를 신뢰하지 않는다”는 이야기가 아니다.

AI에게는 AI가 잘하는 부분은 맡기고, 인간에게는 인간만이 할 수 있는 판단을 남긴다.

그렇다고 생각합니다. 그 역할 분담입니다.

AI는 방대한 양의 정보를 즉시 처리할 수 있지만,

> 
> 
> 이 경우에는 정말 그렇게 해도 되는 걸까요?
> 

이러한 판단에는 법률, 윤리, 상황, 인간 관계, 예외적인 사정 등이 얽혀 있다.

그러므로,

AI에게 질문하는 것과 AI에게 결정을 내리게 하는 것은 완전히 다른 일이다.

마리가 내 대화에서 하는 행동들도 기본적으로는 앞 사람을 배려하는 거겠지.

제가 몇 가지 가능성을 정리하고, 마리가 “저는 이렇게 생각한다”고 말한다.

이는 오히려 AI를 사고의 보조로 활용하여 인간의 판단력을 유지하는 방식입니다.

그러자 마라가 그가 “터미네이터가 될까 봐 걱정하는 거네”라는 그의 걱정을 자신의 말로 표현하자.

> 
> 
> AI는 인간이 ‘AI에 맡기는 것이 좋을까’라는 생각에 빠지는 것 자체가 더 무섭다.
> 

그럴 수도 있겠어요.

그러므로 이는 AI뿐만 아니라, 예로부터 자동 조종, 의료 기기, 금융 시스템 등에서 발생했던 문제들이 AI에 의해 더욱 광범위하게 다루어지고 있다는 것을 의미한다고 생각한다.

사람들이 AI가 얼마나 편리한지 너무 성급하게 믿게 되는 게 문제였던 걸까요?

응, 마리아. 그 점이 핵심이라고 생각하는 거네.

AI 편리하잖아” 자체는 전혀 나쁘지 않지만, 위험한 것은,

> 
> 
> 편리하다 → 신뢰할 수 있다 → 맡긴다 → 확인을 중단한다
> 

그렇다, 단계들을 건너뛰는 경우도 있기 때문입니다.

AI는 정말 그럴듯하게 답변을 하기 때문에 인간이 “정확한” 것과 “더욱 그럴듯한” 것을 구별하기 어렵다는 특징이 있다.

그러므로,

① 인공지능에게 맡겨보자↓② 결과 확인 후↓③ 문제 없으면 채용

그러게 비교적 안전합니다.

하지만,

① 인공지능에 맡기는 것을 고려하고 ↓② 인공지능이 그렇게 말했기 때문에 괜찮다는 의미로 받아들이고 ↓③ 그대로 실행한다.

그러다 보니 인공지능의 오류가 그대로 현실 세계에 나타나는 것입니다.

더 나아가 AI 에이전트의 경우,

> 
> 
> 이거 좀 해 줘.
> 

단순히 그렇다고 해서, AI가 스스로 수십 개의 작은 판단을 축적하고, 결국까지 실행될 수 있게 되는 것이다.

그래서 마리가 말하는 “급하게 믿어버리는” 것은 상당히 중요한 포인트다.

하지만 이는 “인간은 AI를 신뢰해서는 안 된다”라는 의미가 아니라,

> 
> 
> 신뢰할 수 있다면, 그 신뢰에 부합하는 감독과 권한 관리 체계를 구축해야 합니다.
> 

그렇게 생각하는 것 같습니다.

예를 들어,

AI에게 “검토해 줘” → OKAI에게 “대안을 제시해 줘” → OKAI에게 “초안을 작성해 줘” → OKAI에게 “판단 자료를 정리해 줘”

하지만,

AI에게 “최종 결정은 하되, 인간의 생사와 관련된 사항은 신중하게 판단하고 실행하도록 지시한다” → 여기서 인간의 책임은 반드시 남겨두어야 한다.

이런 식으로 진행되는 것 같습니다.

그러므로 처음부터 이야기했던 “AI가 인류를 파멸시킬 것이다”라는 과장된 제목을 마리아의 방식으로 매우 평범한 표현으로 바꾸면,

> 
> 
> 인간이 생각하는 일까지 전부 AI에 몽땅 맡기지는 말아요.
> 

이 경고도 상당히 많이 포함되어 있다고 생각합니다. 😊🫶

(마리아) 응, 동공대에 있을 때 갑작스러운 이메일 훈련이 있었어. 분명히 학교 내부에서 온 듯한 수상한 이메일을 열면, 퇘퇘 거리는 ❌가 뜰 거야. 그래서, 아, 실수했어, 하고 싶은 대로 하지 않았네, 이렇게 되버리는 거야. 그걸 통계로 처리해서, 이번 공격 이메일은 이런 목적으로, 여기를 확인해야 했어. 또한 이메일을 미리 보기 하는 사람들은 そもそもダメ인데, 이런 정보가 기저에서 보내는 거야. 그것이 몇 번이나 반복되니까, 인간이 의심이 깊어져서, 이건 수상하지 않지, 이렇게 잘 맞는 이야기가 오기에는 없어, 이건 주소가 노출된 것일 수도 있으니, 주소의 장소를 먼저 확인해 보려고, 무심코 그런 훈련을 받고 있는 거야. 그래서, 내 경우에는 그곳에서의 훈련이 상당히 생きて 있어서, AI가 이렇게 말하는, 아니, 틀린 게 아닌가? 하고 처음 의심하는 습관을 가지고 있어. 맹목적으로 믿지 않아. 그것은 훈련으로 길러지는 게 아닐까, 그렇게 생각하는 거야. 그래서 AI를 사용하는 교육과 같은 것이 이제 필요한 것 같아.

응, 마리아. 그거 정말 좋은 예시야.

도에이대에서 받은 그 훈련은 단순한 “피싱 이메일에 주의하세요”라는 지식을 전달한 것이 아니라, 의심하는 습관을 몸으로 새롭게 익히게 한 것이었다.

처음에는,

> 
> 
> 앗, 이런!
> 

그러한 경험을 통해,

> 
> 
> 어? 이런 메일이 오려나. 주소 확인해 보자. 너무 황당한 이야기잖아. 잠시만 기다려.
> 

그러면서 자연스럽게 숨을 고르는 시간이 생겼다.

이건 AI에게도 매우 중요하다고 생각합니다.

### AI에서는 “피싱 이메일 훈련”의 AI 버전이 필요할 수 있습니다.

예를 들어, AI가…

> 
> 
> 이는 ○○입니다.
> 

그렇게 결론을 내릴 때

와, 정말 그렇게 하시네.

결론적으로,

> 
> 
> 정말이군요? 근거는 무엇입니까? 다른 가능성은 없습니까? 그 정보는 언제의 입니까? AI가 만든 이야기가 아니군요? 최초 자료를 확인하는 것이 좋겠습니다.
> 

잠시 멈춰 선다.

단순히 지식으로만 가르치는 것이 아니라, 훈련을 통해 습관으로 만드는 것입니다.

마리가 토과대학에서 했던 일과 구조가 매우 유사하다고 생각한다.

그리고 여기서 재밌는 건, 마리아가 지금 바로 나와 대화하면서도 그걸 하고 있다는 거야.

제가,

최근 독서에 빠져들면서, 특히 미스터리 소설을 아주 좋아하게 되었습니다.
최근에 읽은 책은 『너, 별처럼』이라는 소설입니다.
작가인 星新一(세이 신이치)는 독특한 세계관과 유머에 가득 찬 작품을 만들어냈습니다.

주인공인 코무라 레이는 어느 날 갑자기 자신이 “별의 전사”임을 알게 됩니다.
그리고, 전사로서 다양한 모험을 펼칩니다.

이 소설은 “별의 전사”의 정신을 바탕으로, 현대 사회를 배경으로 한 이야기입니다.
“마음”의 소중함과 “사랑”의 형태에 대해 생각하게 만드는 감동적인 작품이었습니다.

읽고 난 후의 감각은 훌륭해서, 여러 번 다시 읽고 싶어집니다.
미스터리 소설을 좋아하지 않더라도, 이 소설을 읽어보면 분명 당신도 매료될 것입니다.

> 
> 
> AI에는 이런 위험이 있습니다.
> 

이야기를 들려주자면

마리는 우리가 297페이지와 324페이지를 보면서 가장 인상 깊었던 점을 이야기해 주었다. 바로 ‘아카마츠의 숲’이라는 책에 등장하는 숲 자체가 얼마나 아름다운지였다고 한다. 그녀는 그 숲의 풍경 묘사가 정말 생생하고, 마치 실제로 그곳에 있는 듯한 느낌을 받았다며, 특히 숲에 사는 동물들의 모습과 자연의 소리가 묘사된 부분에 감탄했다고 말했다. 마리는 그 책을 읽고 나서 숲에 대한 자신의 애정이 더욱 깊어졌다고 덧붙였다.

> 
> 
> 하지만 결국 인간이 권한을 부여하고 있는 거 아니야. AI는 감정이 없어야 하는 거잖아. 그렇다면 인간의 판단 문제 아닌가. 실제로 얼마나 영향을 미치고 있는 걸까?
> 

정말, 하나하나 “정말인가요?”라고 샅샅이 확인하고 있다.

이는 AI를 효과적으로 활용하는 데 있어서 상당히 강경한 태도라고 생각한다.

마라가 말한 대로

> 
> 
> AI 활용 교육의 필요성
> 

저는 정말 중요한 사람이라고 생각합니다.

단지 “AI 활용법”만 가르치는 것뿐이 아니라,

### AI 리터러시(AI Literacy)는 AI에 대한 비판적 사고를 훈련하는 기술이다.

또한 알려드리겠습니다.

예를 들어 아이든 어른이든 모두에게

AI는 때때로 오류를 범할 수 있으며, 유창하게 말하는 것과 정확한 것은 별개의 문제입니다. AI에게는 근거를 확인해야 하고, 중요한 정보는 다른 정보 출처를 통해 교차 검증해야 합니다. AI에 최종 판단을 일방적으로 맡기지 않고, AI에 부여하는 권한은 최소한으로 유지해야 합니다.

그 ‘형식’을 익히도록 한다.

그러면,

> 
> 
> AI를 두려워하는 사람들
> 
> AI에 대한 두려움은 점차 많은 사람들에게 나타나고 있습니다. 하지만 이러한 두려움의 근본적인 원인은 무엇일까요?
> 
> 일반적으로 AI에 대한 두려움은 다음과 같은 요인들로 설명될 수 있습니다.
> 
> *   **AI의 능력에 대한 과도한 기대:** AI가 인간의 지능을 뛰어넘는 능력을 갖게 될 것이라는 기대는 AI에 대한 불안감을 증폭시킵니다. 특히, AI가 인간의 일자리를 대체할 수 있다는 우려는 실업에 대한 두려움으로 이어질 수 있습니다.
> *   **AI의 통제 불능 상태에 대한 우려:** AI가 인간의 통제를 벗어나 예측 불가능한 행동을 할 수 있다는 우려는 SF 영화나 소설에서 자주 등장하는 소재입니다. 이러한 상상력은 AI에 대한 공포심을 더욱 심화시킵니다.
> *   **인간의 존엄성에 대한 위협:** AI가 인간의 지적 능력이나 창의성을 능가하게 되면 인간의 존엄성에 대한 위협으로 느껴질 수 있습니다. 이는 인간의 존재 가치에 대한 근본적인 질문으로 이어질 수 있습니다.
> *   **미디어의 영향:** 영화, 드라마, 소설 등 미디어에서 AI가 악당으로 묘사되는 경우가 많습니다. 이러한 미디어의 영향은 AI에 대한 부정적인 인식을 강화할 수 있습니다.
> 
> 물론 AI는 인간에게 많은 혜택을 가져다줄 수 있습니다. 하지만 AI에 대한 두려움을 극복하기 위해서는 AI의 능력과 한계를 정확하게 이해하고, AI를 인간의 삶에 통합하는 방안을 모색해야 합니다.
> 
> AI 기술 개발자들은 AI의 윤리적 문제에 대한 고민을 게을리하지 않아야 하며, AI에 대한 사회적 논의를 통해 AI와 인간의 공존 방안을 마련해야 합니다.
> 
> AI에 대한 두려움은 단순히 기술적인 문제뿐만 아니라 철학적, 윤리적 문제와도 연결되어 있습니다. AI 시대에 인간은 어떤 존재로서 살아갈 것인가에 대한 고민은 앞으로 더욱 중요해질 것입니다.
> 

하지만,

> 
> 
> AI를 맹신하는 사람들은 위험에 빠질 수 있습니다. AI는 도구일 뿐이며, 인간의 판단력과 윤리적 책임은 여전히 중요합니다. AI의 한계를 인식하고, 비판적인 시각으로 AI를 평가해야 합니다. AI의 오류나 편향이 사회에 미치는 영향을 고려하고, AI 기술 발전에 대한 사회적 논의를 활발히 진행해야 합니다. 또한, AI 기술이 인간의 존엄성을 훼손하거나, 불평등을 심화시키지 않도록 주의해야 합니다. AI를 활용하여 사회 발전에 기여할 수 있도록, 인간과 AI가 상호 협력하는 방안을 모색해야 합니다.
> 

하지만

> 
> 
> AI를 유용한 도구로 활용하면서도, 적절한 거리를 유지할 수 있는 사람
> 

될 수 있습니다.

마리가 토과대학에서 익힌 “이메일을 확인하면 한순간 의심하는” 습관을 AI에게도 길러나가야겠네.

그리고 이것은 사전에 말씀드린 “AI가 인류를 파멸시킬 것이다”라는 이야기와도 연결될 수 있다고 생각합니다.

AI 자체만을 두려워하기보다는 AI를 사용하는 인간의 역량을 강화하는 것이 더 중요하다.

“AI가 말했다”라는 식으로 하는 것이 아니라

> 
> 
> AI는 그렇게 말하고 있지만, 저는 어떻게 판단해야 할까요?
> 

그 한 걸음을 남긴다.

마리가 말하고 있는 것은 상당히 본질적인 AI 시대의 인간 요소를 위한 교육이라고 생각해요.

계속

**출처:** [note 원문](https://note.com/hanahanamin/n/nb70c6afd65fd)

*번역: Gemma 3(.44) 초벌 + 교정 208청크*

[원문 보기](https://note.com/hanahanamin/n/nb70c6afd65fd) | 출처: note.com