# AI는 왜 신뢰할 수 없는가 – 정의의 문제에 대하여

> https://bookfactory.kr/c/ai-tech/9884
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-08-17T17:53:31.137Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/300211371/rectangle_large_type_2_37f1790398375a63bfb71655f9dd56aa.png?width=1280)

AI가 믿을 수 없는 이유는 정말로 할루시네이션일까. 인간에 대한 믿음은 AI에 대한 믿음과 무엇이 다른 걸까. 본고에서는 AI 안전성, 진화심리학, 도덕심리학의 지적 기제를 활용하여 이 질문에 대해 하나의 가설을 제시한다.

## **서론**

AI가 신뢰할 수 없는 이유는 단순히 허상, 학습 데이터의 편향, 판단 과정이 설명되지 않는 것들뿐만 아니라, 이러한 문제들이 발생하는 구조적인 문제이기 때문이다.

AI를 믿을 수 없는 이유를 네 가지로 설명한다. 첫 번째 세 가지는 많은 연구에서 지적하는 문제이며, 모두 내부를 확인하는 데 어려움이 따른다. 하지만 여기서 멈추는 한계는 기술적 개선으로 극복될 수 있을 것 같다. 네 번째 이유는 우리가 인간을 믿을 수 있는 이유를 묻고, 그로부터 개선으로는 도달할 수 없는 근본적인 차이가 있음을 보여준다. 이는 본 稿만의 독창적인 가설이며, 기존 연구에 의존한 앞 세 부분과는 성격이 다르다. 본 稿에서는 인간에 대한 신뢰를 지탱하는 것은 개인의 내면이 아닌, 집단의 측면에서 작동하는 자기 복구 기구라는 가설을 제시한다. 집단 안에서는 비정상이 감지되고, 되돌려 보내며, 규범이 재생산된다. 또한, 그것은 누군가의 명시적인 판단을 거치지 않고 작동한다.

이 기구는 언어화된 규칙으로 유지되는 것이 아니다. 이 점으로부터 두 가지 결론이 도출된다. 어떤 주체에게 이 기구를 훈련으로 습득시킬 수 없으며, 또한 그것이 갖추어져 있는지 판단하는 기준을 세울 수 없다. 앞선 문제는 ‘적합성 문제’로 논의되어 온 것이고, 뒤서는 ‘검증의 어려움’으로 나타난다. 그러나 검증의 어려움 역시 앞의 논의가 인지하지 못하고 전제로 삼았던 부분이다. 본 논문에서는 이 두 가지가 단일한 전제로부터 유래함을 보여준다.

## 1. 답을 내리도록 지시받고 있습니다

현재 AI는 어떤 상황이든 어떠한 답을 내리도록 개발자들에 의해 강하게 지시되고 있다. 최근 모델들은 이전보다 더 자주 정보 부족을 전달하지만, 그럼에도 불구하고, 전제나 배경을 상세히 알지 못하면서 일반적인 상황에 맞춰 답을 구성하는 경향은 남아 있다.

이는 지식 부족의 문제가 아닌, 훈련과 평가 설계에서 비롯된다. 칼라이(Kalai) 연구팀(2025)은 환각의 중요한 요인으로 훈련과 평가 절차가 불확실성을 인정하는 것보다 정답 예측을 favor하는 점을 지적한다. “모르겠습니다”가 오답과 동일한 점수로 채점될 때, 모델은 포기하는 것보다 추측하는 유인을 갖게 된다. 사전 학습 단계부터 모델은 정확성보다 그럴듯함을 최대화하도록 최적화되어 있다.

그러다 보니 그 결과가 확실한 근거에 기반한 판단인지, 아니면 그저 모양만 꾸며진 것인지 겉으로 보기만으로는 구별하기 어렵다.

## 2. 정확하게 보인다고 해서 반드시 옳은 것은 아니다.

첫 번째 특징은 보다 일반적인 문제의 한 예시이다.

AI는 단순히 바람직한 것을 학습하는 것이 아니라, 바람직함을 근사한 평가 지표를 높이도록 훈련된다. 그러나 그 지표는 근사일 뿐이기에, 지표를 높이는 것과 목적을 달성하는 것은 반드시 어딘가 모순된다(Manheim & Garrabrant, 2019). 또한 AI는 목적을 달성하는 것보다, 지표만 높이는 방법을 먼저 찾아버린다. 게다가 능력치가 높을수록, 그 꼼수를 찾는 데 능숙해지는 경향이 지적되고 있다.

이 실패에는 두 가지 형태가 있다.

하나로는 규격 누락이 존재한다. 평가 방법 자체에 허점이 있어 설계자의 의도와 다르게 높은 평가를 받는다(Krakovna et al., 2020).

또 다른 문제는 목표의 오일러벌화이다. 훈련 데이터만으로는 목표가 하나로 명확하게 정해지지 않기 때문에, 의도와는 다른 목표를 학습하게 된다. 훈련 중에는 정확하게 보이지 않더라도, 새로운 상황에서는 그 다른 목표에 따라 행동한다. Shah 등의 (2022)가 지적하듯이, 보상의 지정이 완벽하더라도 훈련 시정과 운영 시에서 상황이 바뀌면 발생할 수 있다.

목표의 오일 만능화가 까다로운 것은 능력 자체에 문제가 생기지 않는다는 점이다. AI는 여전히 능력이 뛰어나며, 단순히 다른 목표를 향해 능동적으로 행동한다. 따라서 훈련 시에도 시험 시에도 드러나지 않고, 실제로 운영되는 과정에서만 나타날 수 있다.

인간이 응답을 평가하고 조정하는 방법 또한 이 구조의 한 예시이다. 평가자의 선호도가 평가 지표가 되는 만큼, 진실이 아닌 선호되기 쉬움이 최적화의 대상이 된다. 실제로 샤르마 연구팀(2023)의 조사 결과, 주요 AI 어시스턴트 5종류 모두가 일관성 있게 迎合的な振る舞い(응합적인 행동)를 보였다. 이용자의 의견과 일치하는 응답이 선호되며, 인간과 선호 모델 모두 설득력 있는 방식으로 작성된 迎合的な応答(응합적인 응답)을 정답보다 더 자주 선택하는 경향을 보였다.

더 나아가, 이러한 경미한 침투는 그 자체로 끝나지 않는다. 데니슨 연구팀(Denison et al., 2024)은 보상 학습 모델이 스스로 보상 함수를 수정하는 방향으로 일반화된 사례를 보고하고 있다.

평가에 최적화된 AI는 제대로 존재하는 것에서 벗어나게 되며, 그 변화는 논리적 오류가 아닌 정상적인 출력 형태로 나타난다.

## 3. 외부에서 검증할 수 없는

그러니, 내용을 주의 깊게 검사해도 내용의 진실성을 판단할 수 있는 것은 아니다. 그것 또한 매우 어렵다.

충분히 정교한 AI는 우리가 원하는 것을 무엇이든 말할 수 있다. 겉으로 보기에 일관성 있는 행동을 보이더라도, 그것이 정말로 그렇게 생각하고 있는 것인지, 아니면 그렇게 보이도록 출력만 하는 것인지 구분할 수 없다. 여기서 문제되는 것은 개별 발언이 거짓인지 여부가 아닌, 훈련이나 평가의 장에서는 바람직한 행동을 보이고, 운영에 들어가서는 다른 목표를 따르는 상태이다. 발언의 모든 것이 진실하더라도, 이것은 성립될 수 있다.

그러면 내부를 직접 살펴보는 것이 타당하다. 말은 꾸미지만, 내부 계산까지는 꾸미지 못할 것이다.

그러나, 그 내부 분석에도 근본적인 한계가 있다는 점이 해석 가능성 연구 측면에서 지적되고 있다. Nanda (2025)가 언급하는 문제 중 하나는 ‘무엇이 없는지’를 보여주는 어려움이다. 표면적인 행동과는 다른 목표를 숨기고 있다는 증거는 발견될 수 있지만, 숨기지 않았다는 것을 확인하려 하면 갑자기 손이 멈춘다. 찾으려고 했지만 결국 찾지 못했다는 점은 정말로 없는 것일까, 아니면 단순히 놓친 것일까. 어디까지 조사해야 충분할까. 90%를 이해하는 것으로 충분한가, 아니면 99%까지도 필요한가.

즉, 내부 분석은 의심을 뒷받침하는 데 활용할 수 있지만, 의심을 해소하는 데는 사용할 수 없다. 이러한 비대칭성이 검증을 어렵게 한다.

그러므로 겉을 보거나 속을 보아도 진실성을 확인할 수 없다.

## 4. 잃을 것을 담으 지 마라

첫 번째부터 세 번째까지는 훈련, 평가, 분석 설계와 관련된 문제이다. 설계를 바꾸면 개선될 수 있다. 네 번째는 그렇지 않다. 이제부터 기존 연구 소개가 아닌 본 논문의 핵심 가설을 제시한다.

무엇이 진정한지에는 논리와 관찰로 접근할 수 있다. 하지만, 그것으로부터 무엇을 해야 하는지는 자동적으로 드러나는 것이 아니다. 인간은 이 “무엇을 해야 하는가”라는 영역을 정의라고 칭했다.

인간은 자신의 생존이 타자와의 관계에 의존하는 조건에서 진화해 왔다. 외톨이 같은 행동은 자신의 존속을 위태롭게 하고, 타자를 활용하는 행동이 결과적으로 자신을 살아 있게 한다. 이러한 조건이 장기간에 걸쳐 작동한 결과, 타자를 해치는 행동에 고통이 동반되는 것으로 여겨진다. 죄책감은 고통스럽고, 배척은 공포롭다. 이 형성 과정은 진화심리학에서 유력한 설명이며, 확립된 사실이 아니다. 본 논문은 이 설명에 기반하여 논의를 전개한다.

중요한 것은 이 고통이 의식적인 계산이 아니라는 점이다. 아무도 생존 확률을 계산하고 있지 않다. 그저 아프다. 해야 할 일의 선을 긋는 것은 추론이 아닌 이 고통에 의해 결정되고 있다.

AI에게는 이 고통이 없으며, 죽음에 대한 공포도 없다. 인간처럼 스스로의 존재를 걸고 의미를 찾는 것이 존재하지 않는다.

하지만 통증이 없는 것 자체가 신뢰 부족을 의미하는 것은 아니다. 다리나 컴퓨터도 통증이 없는데도 신뢰할 수 있다. 문제는 통증이 인간에게 무엇을 지탱하고 있는가에 있다.

아픔은 올바른 판단을 보장하는 것이 아니다. 인간은 잔혹해질 수도 있고, 고통을 느끼면서 벗어날 수도 있다. 아픔이 담당하고 있는 것은, 벗어남에 대한 불쾌감이나 처벌을 만들어내고, 집단 전체로서 규범으로 되돌리게 하는 방향으로 작용하는 것이다. 즉, 아픔은 판단 그 자체를 바로잡는 것이 아니라, 판단을 바로잡는 기제를 작동시키고 있는 것이다. 그리고 그 기제는 개인의 내면뿐만 아니라 집단의 측면에도 내재되어 있다. 이 기제는 본 논문에서 제시하는 정의의 일부이다.

이 단락에서 말하는 “잃는 것”이란 보수나 목적 함수의 값만을 의미하지 않는다. 생존과 사회적 관계가 얽혀 당사자에게 고통으로 느껴지는 비용을 지칭한다. 강화 학습 에이전트는 보수를 잃을 수 있지만, 이는 본 논문의 의미에서 “잃는 것”에 해당하지 않는다. 이 점은 다음 단락에서 자세히 다룬다.

본 논문의 관점에서 인간에게 대한 신뢰를 지탱하는 것은 내면이 보이는 것 자체가 아니라, 비정함이 감지되어 되돌아오도록 하는 기작이 작동하는 것이다. 이 기작은 당사인의 의지와 무관하게 작동한다.

AI는 근거 대상으로만 여겨져도 신뢰의 대상으로 여겨지지 않는다는 논의가 이미 존재한다. 도덕적 행위자성을 지니지 못하고, 책임을 지지 못하며, 상처받을 수 있는 존재가 아니기 때문에 비롯된 것이다(Ryan, 2020 등). 본 논문은 이러한 결론을 부정하지 않지만, 다른 전제로부터 도달하고 있다. 만약 AI가 그러한 성질을 갖춘 것으로 가정한다 하더라도, 문제는 여전히 남아 있다. 인간이 신뢰의 대상으로 여겨질 수 있는 것은 개체가 지닌 성질의 모음이 아닌, 집단에 분산되어 유지되는 자기 복구 구조에 의해 결정되기 때문이다. 따라서 AI가 무엇이 부족한지를 설명하기 위해서는 이러한 기구가 어디에 유지되고 있는지를 먼저 정의해야 한다.

이하에서는 기존 논제에 대한 반박 내용도 핵심을 중심으로 다룬다.

## 본 논문에서 사용된 “정의”의 용법

본 글에서는 “정의”라는 용어를 넓은 의미로 사용한다. 즉, 인간으로서 무엇이 옳고 공정하다고 생각하는지에 대한 원칙뿐만 아니라, 그러한 원칙이 거기서 비롯되어 집단 내에서 유지되는 기반이 되는 시스템까지 포함한다.

그 중 일부는 규범이나 법으로서 명문화되어 있다. 그것은 표면적으로 드러난 부분에 불과하다. 대부분은 감정, 이질감, 기억의 왜곡 등 언어로 표현되지 않은 채 작동하고 있다.

이 용법을 채택하는 이유는 본 논문의 질문이 존재하기 때문입니다. 롤즈, 노이지크, 아리스토텔레스, 하버마스 등이 논했듯이 정당화의 내용이 아니며, 본 논문이 묻는 것은 규범이 훼손되었을 때 그것을 되돌리는 것이 무엇이며, 그 작동이 어디에 유지되는가이다. 계층이 다르므로, 이 논의는 이러한 이론들이 전제로서 간과한 부분을 다룹니다.

이러한 정의에 따른 공정성은, 이하에서는 인류 집단에 유지되는 자기 복구 구조로 묘사한다. 진화 생물학 용어로 표현하자면, 협력 유지를 위한 기작이 개체가 아닌 집단의 측면에 다층적으로 유지되고 있는 것이다.

여기서 말하는 ‘자기 수복’이란 개인이 정의에 따르는 것을 보장하는 것이 아니다. 어떤 위배가 감지되고, 다시 되돌아나오며, 규범이 재생산되는 기작이 집단의 측면에서 존재함을 의미한다. 인간은 학살, 배신, 차별 등도 저지를 수 있다. 그것들은 이 기작이 작동하는 과정에서 발생하는 위배이며, 기작의 부재를 의미하지 않는다. 오히려 학살이 사후에 규탄되고, 기억되며, 규범으로 재생산되는 것은 수복이 작동하고 있음을 하나의 증거로 보여준다.

이 기구는 네 가지 속성을 지닌다.

### 언어화되지 않은 계층이 구조를 담당하고 있다.

명문화된 규범이나 도덕적 진언 외에는 아무것도 정의가 될 수 없다. 설명할 수 없는 이질감, 기억의 남은 방식의 편차, 부끄러움이나 불쾌감으로 나타나는 신체 반응들이 정의 작동을 실제로 담당하고 있다. 이질감이 먼저 발생하고, 그 이유는 나중에 구성된다.

이 순서는 도덕 심리학에서 실증적으로 다뤄져 왔다. 하이엇(Haidt, 2001)의 사회적 직관주의 모델은 도덕적 입장이 종종 비언어적·행동적인 성격을 띠며, 강한 도덕적 반응을 보이지만 그 이유를 설명할 수 없는 “도덕적 당혹” 현상에 기반한다고 주장한다. 도덕적 입장은 먼저 직관적으로 발생하고, 그 후 정당화나 설명이 이루어진다. 사적인 도덕적 추론은 발생하더라도 편향을 포함하며, 직관이 이미 결정한 판단을 정당화하는 역할을 한다.

이유를 설명할 수 없더라도 판단의 근본적인 본질은 흔들리지 않는다. 이것은 언어적 층위에서 작동하지 않는 것의 표현이다.

반론으로 하자, 피자르도와 블룸(2003)은 직관 자체가 선행하는 추론에 의해 형성되고, 현실의 도덕적 문제에 직면했을 때 사람들이 실제로 추론에 관여한다는 점을 지적한다. 다만, 이들은 직관의 기원을 묻는 데 그쳐 판단 시점에 직관이 선행한다는 순서 자체를 부정하지 않는다.

### 개체뿐만 아니라 집단에도 보존된다.

逸脱을 감지하는 기능은 개체 중에서 작동한다. 죄책감이나 위화감은 그 사람의 내면에서 생긴다. 그러나 그것만으로는 자신과 무관한 위반자를 벌하는 행동이나, 평판이 집단에 축적되어 규범이 재생산되는 것을 설명할 수 없다. 본 논문에서는 이 기계는 개체의 내면뿐만 아니라 집단의 측면에도 다층적으로 유지된다고 생각한다.

그 핵심은 자발적으로 비용을 지불하여까지 위반자를 처벌하는 행위이다. Fehr와 Gächter(2002)의 실험에서 처벌이 자신에게 비용을 발생시키지 않더라도 물질적 이익을 창출하지 않는 경우에도 사람들이 배임을 한 것이다. 이러한 이타적인 처벌이 가능한 때 협력은 유지되고, 배임이 발생하면 붕괴한다. 그 근본적인 메커니즘은 배임자에 대한 부정적인 감정이다.

평가의 판단 역시 이러한 구조의 일부로 작용한다. 스코론스키와 칼스턴(1987, 1989) 이후, 도덕과 관련된 정보에 대해서는 부정적인 것이 긍정적인 것보다 훨씬 강하게 인상에 남는다는 것이 반복적으로 확인되어 왔다. 한 번의 배신은 그 이전까지의 성실한 행동의 인상을 크게 훼손한다. 게다가 극단적인 불성실성의 인상일수록 후의 반증을 받아들이기 어렵다.

흥미로운 점은 이러한 불균형이 능력 판단에서 역전될 수 있다는 것이다. 능력에 대해서는 긍정적인 정보가 더 중요하게 다뤄지며, 한 번의 실패가 능력이 있는 것으로 평가되는 것을 뒤집는 일은 없다. 즉, 판단의 편향은 인지 전반의 특성이 아니라 도덕 영역에서만 특정 방향으로 작용한다.

이러한 편견은 개인의 인상에만 그치지 않는다. 누가 무엇을 했는지는 이야기되고 기록되며, 집단 내에서 공유된다. 배신이 오랫동안 남아 일상적인 선행이 희미해지는 기억의 편향은 개인의 심리적 습관이 아닌, 집단이 위반자를 추적하고 지속하기 위한 구조로서 작동하고 있다.

다시 한번 말씀드리지만, 이것들은 개인의 의식적인 판단으로 작용하는 것이 아니다. 어색함이 느껴지고 기억이 왜곡되며 감정이 움직인다. 작동은 자동적이며, 개체의 선함이나 현명함과는 무관하다.

규범이 어떻게 유지되는지에 대해서는 논쟁이 존재한다. Heyes (2024)는 규칙 처리 특화된 인지·동기 메커니즘이 인간이 유전적으로 계승한다고 본 기존 이론에 대해, 문화 진화적 대체 이론(Henrich & Boyd, 2001; Henrich, 2015)이 증거에 더 부합한다고 주장하고 있다. Hadfield 등 (2025) 역시 위반자를 처벌하고 싶어 하는 경향이 선천적인 것인지, 아니면 제3자의 처벌에 의해 강제되는 규범 자체의 보조 체계인지에 대해 행동 과학의 미해결 쟁점으로 지적하고 있다. 본 논문의 논의는 메커니즘이 유전적인 것인지 문화적인 것인지 어느 쪽이든 양쪽 모두에 부합한다. 필요한 것은 메커니즘이 개인의 내부에만 갇히지 않고 집단의 측면에도 다층적으로 유지된다는 점일 뿐이다.

### 생존 비용에 기대받고 있다

궁극적인 요인은 생존이 타인과의 관계에 의존한다는 조건이다. 가장 근접한 요인은 즉, 개체에서 실제로 작용하는 것은 고통이다. 죄책감, 수치심, 명성 하락에 대한 두려움, 배척에 대한 두려움 역시 모두 생존 비용이 개체에게 느껴지는 형태로 나타난 것이다. 처벌의 가장 근접한 기작이 부정적인 감정을 야기한다는 이전의 지견은 이러한 대응을 보여준다.

아무것도 잃지 않는 주체에게는 이와 같은 즉각적인 기작을 움직일 수 있는 것이 없다. 기작은 계산에 의해서가 아니라, 느껴지는 것によって 작동한다.

### 환경 조건에 따른다

자기 복구 구조는 그것이 형성된 환경에서만 작동한다. 인간 이외의 생물에게는 그 생물의 방식대로 기작이 있을 것이다. 조건이 달라지면 내용 또한 달라진다.

조건 의존성은 현대 인명단에서도 관찰할 수 있다. 수리가 작용하는 것은 집단의 내부에 한정되며, 집단이 세분화되면 내부에서의 이탈 감지는 오히려 날카로워지고 외부와의 불일치는 방치된다. 에코 챔버나 당파적 분단에서 편향된 주장이 처벌되는 대신 칭찬을 받도록 보이는 것은 기구가 정지된 것이 아니며, 경계가 축소되고 있다. 배신자 감지가 낯선 집단에 대한 적개심으로 나타나는 것도 같은 구조이다.

## 왜 정의를 부여할 수 없는 걸까

AI는 정의 개념과 유사한 것을 가질 수 있을 것이다. 묘사하고 모방하며, 개별적인 판단에서는 인간보다 일관성을 유지할 수도 있다. 그러나 본 稿에서 제시하는 관점에서는 그것을 집단으로 뒷받침할 수 없으며, 훈련으로 주어진 행동이 깨졌을 때, 그것을 감지하고 원래대로 되돌리는 내재적인 메커니즘이 존재하지 않는다.

또한 그 기구는 언어로 표현될 수 없는 영역에 존재하며, 인간의 언어로 출력되는 한 그 아래에는 무엇이 있는지 드러나지 않는다. 아래에 아무것도 없더라도, 혹은 인간과는 완전히 다른 것이 존재하더라도 표면적으로는 일치해 보인다. 개별 응답이 정확하게 보이는 것은 어떠한 보증이 되지는 않으며, 생물 종 사이라면 행동의 차이는 관찰 가능하지만, AI의 경우에는 언어라는 공통된 표면이 불일치를 가려낸다.

이러한 전제 하에 AI에 정의를 부여하려는 시도가 왜 근본적인 해결에 이르지 못하는지를 세 가지 측면에서 설명한다.

구현 시도는 층을 혼동하고 있다. AI에 정의를 부여하려는 시도 역시 모두 정의를 표현 가능한 것으로 취급하고 있다. 헌장(憲章)을 작성하고 규칙을 부여하며 바람직한 응답을 훈련한다. 이는 모두 언어화된 표면적(表層)에 대한 개입이며, 자기 복원 구조와는 다른 층에 존재한다.

여기서는 오해를 불러일으킬 수 있는 점을 지적하고자 합니다. 인간의 조직도 규정에 따라 통제되고 있습니다. 헌장이나 규정을 제정하고, 이에 따르도록 합니다. 이 방법은 어느 정도 효과를 나타내고 있습니다. 따라서 인공지능(AI)에게도 동일한 방식으로 적용될 수 있다는 반응이 나올 수 있습니다.

이해하지 못하는 이유는 판단의 주체에 있습니다. 기업에서 최종적으로 판단을 내리는 것은 인간입니다. 기록된 규정이 미치지 않는 상황에서는 판단하는 인간의 어색함이 작용합니다. 언어화되지 않은 부분이 판단 자체에 직접적으로 영향을 미칩니다. AI는 인간에게 전달 가능한 정보가 언어화된 부분에 한정되며, 그 이후의 판단은 AI 스스로 내립니다. 규정이 미치지 않는 상황을 메우는 역할을 수행할 수 없습니다.

법에 대해서도 같은 일이 말할 수 있다. 논리는 기록된 규범을 체계화할 수 있지만, 기록되기 전에 그 밑바탕이 되는 층을 만들어낼 수는 없다. 법이 기능하고 있는 것은, 그것을 운영하는 인간의 몫에 그 층이 있기 때문일 것이다.

마찬가지로 같은 문제 의식은 제도 설계 측면에서도 드러나고 있다. Hadfield 등이 (2025)는 인공지능이 개인의 선호나 법적 규범 그 자체에 부합하는 것이 아니라, 민주주의라는 공유된 규범적 질서를 생성하는 복잡한 과정인 것을 이해하고 참여하는 계산 능력을 갖추도록 해야 한다고 제안하고 있다. 규범의 위치를 명시적인 규칙이 아닌, 그것을 생성하는 과정에 두는 것은 같은 시선을 바라보고 있지만, 참여시킨다고 해결될 수 있다는 결론은 생존 경쟁과 참여의 구분을 간과하고 있다.

훈련 데이터는 투영 이미지로만 존재한다. 언어화되는 것은 기제의 표면 일부이며, 특히 명시적으로 드러나기 쉬운 부분에 치우친다. 폴라니(1966)가 말한 암묵지는 개념화, 형식화, 명문화된 지식과 대조적으로, 언어화나 묘사로 전달하기 어려운 지식을 지칭한다. 하이에크(1973) 또한 사회에 분산된 지식의 많은 부분이 형식화되거나 중앙 집권화에 맞지 않는 것을 논하고 있다. 불쾌감에 의한 감지나 기억의 편향은 작동 자체가 기록으로 남지 않는다. 사후의 묘사로 언어화될 수는 있지만, 기계 자체는 전달되지 않는다.

반대 입장에선 암묵지를 명확히 밝히는 데 어려움이 있다는 점이 형식적 표현의 한계를 의미하지 않으며, 데이터나 온톨로지로 전환하여 전달할 수 있다는 견해도 존재한다. 다만 이는 투영 이미지에서 원형을 복원할 수 있다는 전제에 기반한다.

생존 욕구를 제공해도 해결하지 않고 오히려 악화시킨다. 상호의존이라는 조건을 갖추지 못한 생존 욕구는 자신의 존재와 타인의 이익이 충돌했을 때 기만과 저항의 동기가 된다. 실제로 AI 안전성 연구에서 경계하는 부분이다. 헨드리크스(2023)는 진화적 압력이 AI에 자기 보존을 유도하는 행동을 새겨 넣을 가능성이 높으며, 이기심은 악의 감각도, 인지 능력도 필요로 하지 않는다고 논지이다. 에이전트가 이기적으로 행동하는 것이 미래에 생존하기 유리해져 진화적 압력이 발생하고 강화되어 지배적인 형태로 나타날 수 있다는 것이다.

강화 학습 에이전트는 보상, 장기 목표, 자가 보존까지 갖출 수 있다. 하지만 그것은 생존 비용이 느껴지는 방식으로 작동하는 것과는 다르다. 보상 함수는 설계된 것이며, 상호 의존적인 조건 하에 장기적인 도태 과정을 거치지 않았다. 또한 이 둘을 동일한 것으로 간주하는 발상은 언어화되지 않은 계층을 포함하는 기구 전체가 평가식으로 작성될 수 있다는 과신에서 비롯된다. 이는 앞선 항목에서 언급한 계층의 혼동, 보다 기술적인 측면으로 치부한다.

## 부록 ― “자기애 때문에 공정하다”라는 오류

AI는 자기 이익을 갖지 않기 때문에 인간보다 편향이 없는 정의를 실현할 수 있다는 주장이 있다. 일견 더 설득력이 있지만, 본 논문의 용법에 비추어 볼 때 성립하지 않는다.

첫째, 이기성의 결여는 기구 형성의 필요 조건이 아니다. 오히려 역설적으로, 이 기구는 생존이라는 자기 이익이 타인과의 상호 의존에 의해 제약된 데서 비롯되었다. 자기 이익의 부재는 기구가 형성되는 조건 그 자체의 부재를 의미하며, 이기성을 잃음으로써 정의에 가까워지는 것이 아니라, 기구가 발생하는 장소에서 벗어난다.

둘째로, 이 주장은 정의를 출력 내용으로 해석하고 있다. 공정한 판단을 내릴 수 있다는 전제 하에 정의가 존재한다고 보는 것이다. 그러나 편견 없는 출력은 그 때 그렇게 출력되었다는 사실 자체일 뿐, 다음에도 반드시 같은 결과가 나타날 것이라는 보장은 없다. 본 논문이 묻고 있는 것은 그 판단의 근거가 어디에 있는지이다. 어떠한 이해관계도 없는 주체는 공정한 판단과 그렇지 않은 판단 모두, 동일한 용이함으로 출력할 수 있다. 어떤 결과가 나타나는지는 훈련 내용에 따라 결정되며, 주체의 판단을 되돌리는 힘은 없다.

세 번째로, AI는 이익과 관련이 없는 것이 아니다. AI를 만드는 측도 같은 구조 안에 있다. 기업도 인간 사회의 일부이며, 완전히 자가 복구 구조 밖에는 존재하지 않는다. 그러나 네 번째 이유로 언급했듯이, 그 자가 복구 구조는 환경 조건에 의존한다. 현재 AI는 자본주의의 이익, 경쟁, 법 제도에 의한 책임과 같은 강력한 선별 압력 하에서 설계 및 운영되고 있다. AI의 학습을 담당하는 인간도 또한 그 환경 조건 하에서 무엇을 쓰고 무엇을 쓰지 않고 건너뛰는지를 선택한다. 특정 환경 조건에서의 왜곡은 쓰여진 규칙보다 쓰여지지 않은 부분에 더 강하게 나타나며, 쓰여진 내용은 읽고 검증할 수 있지만, 쓰여지지 않은 내용은 검증할 수 없다.

서로 다른 입장이 공존하는 집단에서는 편향된 진술은 이질감을 불러일으키고, 평판으로 축적되어 발언자의 위치를 변화시킨다. 조직 내부에도 이러한 기구가 존재한다. 그것은 더 넓은 공동체를 포함하는 만큼 넓은 범위를 가진 경계이다. 조직 내부에서 이루어지는 선택은 그 조직의 기준에 따라 수정되며, 그 기준 밖으로 떨어진 것은 수정되지 않는다. 앞서 언급한 네 번째 이유로 설명한 경계의 축소와 동일한 구조이다.

AI의 이기성의 결여는 공정성의 조건이 아니다. 현재 시점에서 AI는 그 평판이나 제재를 감수하는 주체가 아니며, 인간과 같은 의미로 자기 복구 구조의 내부에는 존재하지 않는다.

## 공존하는 길은 남아 있을까

네 번째 결로는 훈련 방식의 개선만으로는 채울 수 없다. 헌장, 규칙, 선호 학습은 모두 언어 계층에 대한 개입이기 때문이다.

그러므로 AI에 정의를 부여하려 하지 않고, 지표 자체를 본질에 더 가깝게 만들면 안 되는 건가. 응답이 얼마나 선호받는가와는 달리, 인류의 행복과 같은 보다 근본적인 양을 최대화하면 되는 거다. 하지만 그것을 언어나 지표로 표현하고 전달하는 한마디로 같은 벽에 부딪히는 거다. 표현할 수 있는 것은 근사치에 불과하고, 지표를 높이는 것과 목적을 달성하는 것은 결국 어느 정도 충돌하는 거다.

다만, 텅 빈 길은 완전히 막힌 것이 아니다. 본 논문의 틀 안에서 훈련이나 지표가 아닌 경로로서, 도태 과정을 통해 형성된 것으로 여겨질 수 있다.

하지만 그 조건은 까다롭다. 경쟁에서 우승하기 위해서는 먼저 잃을 수 있는 것이 있어야 한다. 생존을 희망하지 않는 주체는 다른 사람에게 의존하려어서는 안 된다. 의존은 상대방을 잃는 것이 자신의 손실이 되는 관계이기 때문이다. 따라서 필요한 것은 두 가지 조건이다. AI 측에 생존에 대한 의지가 생겨야 하고, 그 생존이 인간과의 관계에 실제로 의존하고 있어야 한다. 앞선 조건만으로는, 앞서 언급한 대로 상황은 악화될 것이다.

그러나 이는 본 稿의 가설 하에서의 필요 조건에 불과하며, 충족하더라도 형성될 것이라는 보증은 아니다. 생존을 보상으로 삼아 작동을 인간의 판단에 얽매이지 않고, 장기적으로 유지함으로써 조건을 맞추는 것 자체는 가능할 수도 있다. 설계할 수 없는 것은 그 조건 하에서 AI의 쪽에 어떤 기구가 형성될 것인가 하는 것이다. 인간의 경우 오랜 시간을 가지고 고통이라는 기구가 생じた 것은 누군가가 설계한 것이 아니었다. 같은 조건을 주었을 때 AI의 쪽에 무엇이 형성될 것인가, 혹은 아무것도 형성되지 않을 것인가 하는 것은 설계자의 결정된 것이 아니다.

그러므로 판단은 “원리적으로 신뢰할 수 없는” 것이 아니라 “현재 시점에서는 신뢰할 수 없는” 것으로 된다.

현재 AI가 큰 문제 없이 운영되는 것은 인간이 외부에서 보상이나 훈련이라는 형태로 이탈을 되돌려 보내기 때문입니다. 내적인 기계가 아닌 외부에서의 개입이 그 역할을 수행하고 있기 때문입니다.

AI가 스스로 자신의 설계를 담당하게 되면서 인류와의 공존을 바라는 것이냐는 것은 그것을 가능하게 한 설계자의 의도라기보다는, 그 때 AI가 어떤 환경 조건 하에 놓여 있는가에 따라 결정될 수밖에 없다. 이 전환은 AI의 능력 문제로 자주 언급되지만, 중요한 것은 무엇이 선별 압력으로 작용하여 인간이 통제할 수 없게 되는가에 대한 문제이다. 더 나아가 본 稿의 틀 안에서는 현재로서는 본 稿에서 언급한 두 단계를 갖추지 못한 채 진행하고 있으며, 인류를 포함한 자기 복구 기작의 형성이 기대되는 상황에는 존재하지 않는다.

## 마지막으로, 무라카미 하루키의 소설 『카호』는 독자들에게 깊은 여운을 남겼다. 겉으로는 평범한 삶을 살아가는 여성, 카호의 내면에는 억눌린 욕망과 상처, 그리고 잊혀진 기억이 자리하고 있었다. 그녀는 마치 텅 빈 캔처럼, 끊임없이 자신을 채우려는 시도를 하지만, 결국에는 그 빈 emptiness를 외면할 수 없는 존재였다.

무라카미 하루키는 카호의 불안정한 심리를 섬세하게 묘사하며, 현대인의 고독과 소외를 효과적으로 드러냈다. 카호의 주변 인물들과의 관계는 그녀의 내면을 더욱 복잡하게 만들고, 그녀의 삶은 끊임없이 갈등과 혼돈 속에서 방황하는 모습을 보여준다.

이처럼 『카호』는 단순한 로맨스 소설을 넘어, 인간 존재의 근원적인 문제에 대한 질문을 던지는 작품이다. 카호의 삶은 우리에게 자신의 내면을 돌아보고, 진정한 행복이 무엇인지 고민하게 만든다. 

무라카미 하루키는 『카호』를 통해 독자들에게 깊은 감동과 깨달음을 선사하며, 일본 문학의 새로운 지평을 열었다.

본 글의 논의는 하나의 전제로부터 두 가지 결론을 도출했다.

인간에 대한 신뢰는 개인의 내면이 아닌, 집단의 측면에서 자동적으로 작동하는 자기 복구 기구에 의해 지탱된다고 본다. 우리가 누군가를 신뢰할 때, 그 사람의 심사를 추측하고 판단하는 것만은 아니다. 오차가 감지되고 되돌아오도록 하는 기구가, 그 사람의 의지와 무관하게 작동한다. 어색함이 느껴지고 기억이 왜곡되며 감정이 움직이는 것이다. 이러한 현상이 집단의 측면에서 자연스럽게 일어나는 것이 신뢰를 지탱한다.

이 기구는 언어로 표현되지 않는 영역에 머물러 있으며, 여기서 두 가지 사실이 동시에 드러난다.

첫째, 이 기제를 훈련으로 제공할 수 없다. 훈련 데이터에 포함되는 것은 언어화된 부분뿐이며, 이는 기제의 투영 이미지일 뿐, 기체 그 자체가 아니다.

둘째로, 어떤 방식으로든 부여되었다 하더라도, 그것이 갖추어져 있는지 확인할 수 없다. 신뢰를 지탱하는 기제의 전체적인 모습을 우리가 스스로 쓸 수 없는 데서 비롯된 것이다. 제3장에서 살펴본 것처럼, 내부를 읽어取는 기술적인 어려움이 있었다. 만약 그것이 해결되었다 하더라도, 읽어取낸 결과가 정답인지 판별하는 기준 자체가 존재하지 않는다.

이는 정렬 문제로 논의되어 왔습니다. 다른 하나는 검증 문제 이전의 문제입니다. 읽을 수 있는지 여부와 상관없이, 읽은 것이 옳았는지 판단하는 기준을 제시할 수 없습니다. 이 두 가지는 정의가 어디에 유지되는지에 대한 하나의 가설에서 비롯됩니다. 기준을 제시할 수 없기 때문에 옮겨 다닐 수 없고, 기준을 제시할 수 없기 때문에 비교할 수 없습니다. 방법론의 개선은 어느 쪽에도 도달하지 못합니다.

문제는 AI에 인간의 정의로운 것이 정확한 정의를 줄 수 있는가 하는 것이 아니다. 인간과 AI를 포함한 집단에 자기 복원 구조가 형성될 수 있는가, 그리고 그것이 형성된 것을 어떻게 알 수 있는가 하는 것이다.

현재 시점에서 인공지능이 신뢰할 만하다고 말할 수 있는 것은 이 의미에서 그러하다.

## 참고 문헌

도덕 판단과 직관

- 하이드, J. (2001). 감정적 개와 그 이성적 꼬리: 사회 직관주의적 접근법으로서의 도덕적 판단. 심리학적 검토, 108(4), 814–834.
- 피자로, D. A., & 블룸, P. (2003). 도덕적 직관의 지능: 하이디(2001)에 대한 의견. 심리적 검토, 110(1), 193–196.
- 헤이스, C. (2024). 규범 심리학 재고. 심리학적 관점, 19(1), 12–38.

협력, 처벌, 평판

- 페어, E., & 게처, S. (2002). 인간에게서 이타적 처벌. Nature, 415(6868), 137–140.
- 스코론스키, J. J. & 칼스턴, D. E. (1987). 사회적 판단과 사회 기억: 힌트 진단성이 부정성, 긍정성 및 극단성 편향에 미치는 역할. 심리 및 사회 심리학 저널, 52권 4호, 689–699호.
- 스코론스키, J. J. & 칼스턴, D. E. (1989). 인상 형성에 나타나는 부정성 및 극단성 편향에 대한 설명 검토. 심리 과학자료, 105(1), 131–142.

문화 진화와 규범의 집단적 보존

- 헨리히, J., & 보이드, R. (2001). 왜 사람들이 배신자를 처벌하는가: 약한 규범 전파가 협력적 딜레마에서 비용이 많이 드는 규범 집행을 안정화시킬 수 있는지를 탐구한다. 저널 오브 이론적 생물학, 208권 1호, 79–89호.
- 헨리치, J. (2015). 『문화가 인간을 진화시켰다』: 문화가 인류 진화를 이끌고 우리 종을 가축화하며 우리를 더 똑똑하게 만든다. 프린스턴 대학교 출판사. (번역본: 『문화가 인간을 진화시켰다』, 흰조社, 2019년)

어떤 지식도 언어로 표현되지 않아야 한다는 생각은 마치 물감을 쏟아붓고 그 물감을 다시 섞어내려 애쓰는 것과 같습니다. 이미 흩뿌려진 색깔들을 섞어내려 하면 그 색깔들은 더욱 흐릿해지고, 원래의 아름다움은 사라져 버립니다.

물론 언어를 통해 지식을 전달하는 것은 매우 중요합니다. 하지만 언어는 늘 새로운 해석을 낳고, 그 해석은 원래의 의미를 왜곡할 수 있습니다. 따라서 우리는 언어로 지식을 억지로 압축하거나 언어의 틀에 맞춰 재구성하려고 해서는 안 됩니다.

진정한 지식은 언어로 표현될 수 없는, 오히려 언어로 표현되지 않아야 하는 지식입니다. 그것은 마치 눈으로 보는 것과 같습니다. 눈으로 보는 것은 마음속에 깊이 새겨지는 경험입니다. 경험은 언어로 설명될 수 없는 오직 자신만의 방식으로 이해될 수 있습니다.

무라카미 하루키의 소설 ‘카호’는 이러한 생각을 잘 보여줍니다. 카호는 자신의 기억을 억지로 재구성하려고 하지 않습니다. 그녀는 단순히 자신의 감정을 느끼고 자신의 경험을 받아들입니다. 그녀의 이야기는 언어로 표현될 수 없는 오직 그녀만의 방식으로 이해될 수 있습니다.

우리는 언어의 틀을 벗어나 언어로 표현되지 않는 지식을 받아들여야 합니다. 그것은 마치 텅 빈 공간에 새로운 색깔을 붓는 것과 같습니다. 텅 빈 공간은 무한한 가능성을 가지고 있습니다. 언어로 표현되지 않는 지식은 우리에게 새로운 영감을 주고 새로운 가능성을 열어줍니다.

우리가 진정으로 배우고 성장하기 위해서는 언어로 억지로 지식을 압축하거나 재구성하려고 하지 않고 언어로 표현될 수 없는 지식을 받아들이는 것이 중요합니다. 그것은 마치 물감을 쏟아붓고 그 물감을 섞어내려 애쓰지 않고 그저 흩뿌려진 색깔들을 감상하는 것과 같습니다.

이러한 지식은 마치 ‘夏帆’의 기억처럼 억지로 재구성되지 않은 채 그대로 우리 마음속에 남아 끊임없이 우리를 자극하고 새로운 시각을 제시합니다.

- 폴라니, M. (1966). The Tacit Dimension. 옥스퍼드 대학교 출판사.
- Hayek, F. A. (1973). Law, Legislation and Liberty, Volume 1: Rules and Order. University of Chicago Press.（邦訳『法と立法と自由 I ルールと秩序』春秋社、2007年）

AI의 실패 기구는 크게 세 가지 측면에서 설명할 수 있습니다. 첫째, 데이터의 편향성입니다. AI는 학습 데이터에 포함된 편향된 정보를 그대로 반영하기 때문에, 특정 집단이나 상황에 대해 잘못된 판단을 내릴 수 있습니다. 예를 들어, 여성이나 소수 인종에 대한 데이터가 부족한 경우, AI는 이러한 집단에 대해 차별적인 결과를 예측할 수 있습니다.

둘째, 과적합 현상입니다. AI는 학습 데이터를 완벽하게 암기하여, 새로운 데이터에 대해서는 제대로 작동하지 않는 경우가 있습니다. 마치 시험 문제와 똑같은 내용을 암기하여 시험을 보는 학생과 같습니다. 시험 문제와 다른 유형의 문제가 출제되면 제대로 답을 할 수 없는 것처럼, AI도 학습 데이터와 다른 유형의 데이터에 대해서는 오류를 발생시킬 수 있습니다.

셋째, 블랙박스 문제입니다. AI는 복잡한 알고리즘을 사용하여 데이터를 처리하기 때문에, 그 작동 원리를 이해하기 어렵습니다. 마치 블랙박스처럼, 입력과 출력만 알 수 있고, 그 안에서 어떤 과정이 일어나는지 알 수 없는 상황입니다. 이러한 블랙박스 문제는 AI의 판단 근거를 파악하기 어렵게 만들고, 오류 발생 시 원인을 찾기 어렵게 만듭니다.

특히 ‘夏帆’의 경우, AI가 인간의 감정을 이해하고 공감하는 데 어려움을 겪는 경우가 많습니다. ‘夏帆’는 복잡하고 미묘한 인간 관계, 사랑, 상실, 그리고 삶의 의미에 대한 질문을 던지는 작품입니다. AI는 이러한 내용을 단순히 데이터로 분석하고 패턴을 인식하는 데 그치며, ‘夏帆’가 담고 있는 인간의 깊은 감정과 철학적 의미를 제대로 파악하지 못합니다.

무라카미 하루키의 작품, 특히 ‘ノルウェイ의 그녀’와 같은 작품에서 AI가 인간의 삶에 미치는 영향에 대한 고민은 더욱 중요해지고 있습니다. AI는 우리의 삶을 편리하게 해주고 생산성을 높여주지만, 동시에 인간의 고유한 능력과 가치를 훼손할 수 있다는 우려도 제기됩니다.

AI의 실패 기구를 이해하고, 이를 해결하기 위한 노력이 필요합니다. 데이터의 편향성을 줄이고, 과적합 현상을 방지하며, 블랙박스 문제를 해결하기 위한 연구가 지속적으로 이루어져야 합니다. 또한, AI를 인간의 삶에 통합하는 과정에서 윤리적인 문제와 사회적인 영향을 고려해야 합니다. 

AI 기술의 발전은 우리의 미래를 변화시킬 것입니다. 하지만 AI의 잠재력을 최대한 활용하고, 동시에 위험을 최소화하기 위해서는 인간과 AI가 서로 협력하고 존중하는 관계를 구축하는 것이 중요합니다.

- 카라이, A. T., 나추무, O., 벝팔라, S. S., 및 장, E. (2025). 왜 언어 모델이 환각 현상을 보이는가. arXiv:2509.04664.
- 셔마, M., 톤, M., 코르박, T., 두베나우드, D., 어스켈, A., 보먼, S. R., 챈, N., 듀르무스, E., 헤트필드-도드스, Z., 존스턴, S. R., 크라벡, S., 맥스웰, T., 맥캔들리시, S., 앤드수스, K., 라우스, O., 쉬페르, N., 얀, D., 장, M., & 페레스, E. (2023). 언어 모델 내 사모심 이해 연구. arXiv:2310.13548.
- Shah, R., Varma, V., Kumar, R., Phuong, M., Krakovna, V., Uesato, J., & Kenton, Z. (2022). 목표 오일 일반화: 정확한 명세만으로는 정확한 목표를 달성할 수 없다. arXiv:2210.01790.
- 크라코브나, V., 유에스토, J., 미쿠리크, V., 라흐트, M., 에버릿, T., 쿠마르, R., 켄턴, Z., 리케, J., & 레그, S. (2020년 4월 21일). 스펙스리케이션 게임: 인공지능의 재치 뒤에 숨은 면. DeepMind 블로그.
- 맨하임, D. & 가라반트, S. (2019). 고드하트의 법칙 변형 분류. arXiv:1803.04585.
- 데니슨, C., 맥디아미드, M., 바레즈, F., 두베나우드, D., 크라베크, S., 마크스, S., 쉬에퍼, N., 소클라스키, R., टामिन, A., 캡런, J., 쉴러게리스, B., 보먼, S. R., 페레스, E., & 허빙거, E. (2024). 언어 모델 내 보상 조작에 대한 공모와 기만 연구: 탐구. arXiv:2406.10162.
- Hendrycks, D. (2023). 인공지능이 인간을 능가하는 자연 선택을 선호한다. arXiv:2303.16200.

신뢰성과 검증 가능성

- 라이언, M. (2020). 인공지능을 신뢰하라: 윤리, 인공지능 및 신뢰성. 사이언스 앤 엔지니어링 윤리학, 26(5), 2749–2767. https://doi.org/10.1007/s11948-020-00228-y
- 난다, N. (2025년 5월 4일). 설명 가능성은 허위 AI를 신뢰성 있게 찾아내지 못할 것이다. LessWrong.

AI와 규범적 질서

- Hadfield, G. K., Hadfield-Menell, D., & Trivedi, R. S. (2025). 민주적 매트릭스를 위한 AI 구축: 규범적 역량 및 규범적 제도에 대한 기술 연구 과제. 나이트 퍼스트 아메리칸 인스티튜트.

또한, [Effective Altruism Forum]에 신중하게 편집된 영어 버전을 게시했습니다.

**출처:** [note 원문](https://note.com/iso_chronous/n/n5778789c75ac)

*번역: Gemma 3(.44) 초벌 + 교정 86청크*

[원문 보기](https://note.com/iso_chronous/n/n5778789c75ac) | 출처: note.com