# AI는 왜 추론할 수 있을까, 만든 본인들조차 이해하지 못한다. 아직 밝혀진 것은 전체의 4분의 1뿐이다.

> https://bookfactory.kr/c/ai-tech/11246
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-12T06:13:40.005Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/306239898/rectangle_large_type_2_756d9b307d6961531df1c878838cd386.png?width=1280)

AI에게 “36 + 59는?”이라고 질문하면 “95”라고 대답합니다. 이어 “어떻게 계산했어?”라고 묻는다면 다음과 같이 답변합니다.

> 
> 
> 일의 자리는 6 + 9 = 15이고, 1을 올려서 십의 자리는 3 + 5 + 1 = 9입니다. 따라서 95입니다.
> 

초등학교에서 배우는 셈셈(筆算) 그대로입니다. 꼼꼼하고, 깔끔하며, 답도 정확합니다.

그러나 AI는 이 절차로 계산하지 않습니다.

내부 데이터를 1단계씩 추적한 연구에 따르면, 실제로는 전혀 다른 방식으로 진행되었던 것입니다. 대략적인 추정치를 내기 위해 참조 표를 활용하는 듯한 처리를 반복하는 방식입니다. 인간이 절대로 할 방식으로, 이는 완전히 다릅니다.

덧붙여 AI가 거짓말을 한 것은 아닙니다. AI는 자신이 무엇을 수행했는지 알지 못하며, 질문에 답하라는 요청에 따라 “계산 방법을 설명하는 글”로서 가장 유사한 것을 구성했습니다. 연구자들은 그렇게 설명합니다.

## 맥락과 이 기사에서 조사한 범위

사실 제가 지금 이렇게 이야기를 쓴 것을 알게 된 건 제가 직접 조사해 보면서부터이고, 그 근본적인 시작은 다른 곳에 있었습니다.

최근 중지 료스케 씨가 note에 올린 “LLM은 ‘다음 단어를 맞추는’ 것뿐인데, 왜 생각하는 것처럼 보이는가?”(2026년 8월 18일)를 읽었습니다. 중지 료스케 씨가 직접 기사 내용에서 밝히듯이, 이는 @0xEronn 氏의 X 게시글 “LLMs do one thing: predict the next word. Here's how that creates something that feels like thinking”을 요약 및 해설한 것입니다.

LLM(대규모 언어 모델, 즉 ChatGPT 등의 핵심) 작동 원리에 대해서는 이 두 글이 쉽고 잘 정리되어 있습니다. 이 글에서는 그 내용을 다시 설명하지 않겠습니다. 아직 읽지 않으신 분은 먼저 위의 링크를 읽어보시길 권합니다.

제가 짚었던 부분은 바로 그 다음 지점이었어요.

> 
> 
> AI가 하는 일은 하나다. 다음으로 올 단어를 예측하는 것이다. 이를 엄청난 규모로 수행하면, 생각처럼 보이는 무언가가 반대쪽에서 나타나는 것처럼 보인다. 왜 그렇게 되는지, 완전히 이해하는 사람은 아직 아무도 없다.
> 

트랜스포머의 구조는 2017년 발표 논문 “Attention Is All You Need”에서 공개되었고, 학습 절차 또한 대략적으로는 따라갈 수 있습니다. 그럼에도 불구하고, 관련 당사자들이 “이해하지 못한다”고 주장합니다. 그렇다면 무엇이 어떻게 이해되지 않는 걸까요?

그러한 한 가지 부분에 대해 좀 더 깊이 파고보았으며, “만든 사람조차 이해하지 못한다”는 부분에 대해 AI 기업이나 연구기관이 공개한 원서를 몇 권 찾아보면서 그 이해를 더 깊게 하고자 합니다.

결과를 먼저 말씀드리면, 제가 스스로 생각했던 것보다 더 잘 이해하고 있었지만, 동시에 생각했던 것만큼 이해하지 못했던 것입니다.

## 숨겨진 내용도 없는데도 여전히 읽을 수 없는 이유

먼저, 용어를 정리해 주시기 바랍니다.

AI는 블랙박스가 아니다”라는 표현은 내부 정보가 드러나 있다는 것을 연상시킵니다. 그러나 실제 AI의 경우, 정반대의 상황입니다.

- 디자인 방식(어떤 구조로 작동하는가)은 논문으로 공개되어 있습니다.
- 파라미터(AI의 작동을 결정하는 수천억 개의 숫자)는 개발자가 모두 참조할 수 있다.
- 계산의 한 단계, 한 단계도 따라갈 수 있다.

숨겨진 것은 아무것도 없고, 모든 것이 다 보입니다. 그럼에도 불구하고, 왜 그 답이 그렇게 된 것인지 알 수 없습니다.

즉, 이는 정보 공개의 문제가 아닌 번역의 문제입니다. 수천억 개의 숫자들이 얽혀 있는 것을 인간이 다룰 수 있는 언어로 대체할 수 있는 방법이 아직 없습니다.

만약 어떤 회사의 모든 직원들의 모든 이메일을 다 볼 수 있는 상황임에도 불구하고, 왜 이러한 의사 결정이 이루어졌는지 이해할 수 없는 상황일까요. 정보가 부족한 것이 아니라, 정보가 너무 과도하여 의미로 전환할 수 없는 상황입니다.

더욱이, 이는 외부에서 논란이 일어나는 이야기가 아닙니다. 작품을 제작하는 당사자가 직접 공적으로 이렇게 쓰고 있습니다.

주요 AI 개발 기업 중 하나인 Anthropic의 CEO, 다리오 아모디 씨가 2025년 4월에 자신의 웹사이트에 게시한 논문 “The Urgency of Interpretability (해석 가능성의 긴급성)”에 따르면

> 
> 
> 산업계 외부 사람들은 우리가 만든 AI가 어떻게 작동하는지 이해하지 못한다는 것을 알게 되면 놀라워하고 경계하는 경우가 많습니다.
> 

저사 제품을 판매하는 회사의 대표가 직접 이렇게 쓰고 있습니다. 이 글을 읽고 저는 이 문제에 대해 좀 더 알아보는 것을 고려하게 되었습니다.

## 성능을 희생하면서까지 내용을 꼼꼼히 읽으려는 각 회사들

연구자들은 손을 떨고 있었을까요? 조사해보니, 그렇지 않았습니다.

최근 몇 년 동안, 인공지능의 내부를 회로 수준에서 분석하는 연구 분야가 본격적으로 활성화되고 있습니다. 그 진정성에 대해 세 가지를 꼽자면 다음과 같습니다.

MIT Technology Review는 2026년 1월, 이 분야(기구 해명)를 “10 Breakthrough Technologies 2026”에 선정했습니다. 올해의 10대 브레이크스루 기술 중 하나로 취급되었으며, 같은 목록에 나트륨 이온 배터리, 차세대 원자력, 유전자 편집 등이 포함되었습니다.

OpenAI는 2025년 11월 “Weight-sparse transformers have interpretable circuits”라는 논문을 공개했습니다. 매개변수의 99.9%를 강제로 0으로 설정하여 훈련하면 내부 회로가 인간이 이해할 수 있게 됩니다. 즉, 성능을 의도적으로 낮춰 읽기 쉬운 모델을 제작한 것입니다. 동등한 능력을 가진 일반적인 모델과 비교했을 때 회로의 크기는 약 16분의 1로 줄어들었다고 보고되었습니다.

앤서니(Anthropic)는 전문 연구팀을 상설적으로 운영하고 있으며, 분석 도구를 오픈소스 형태로 공개하고 있습니다.

성능 경쟁의 최전성기에 있는 기업들이 그와 병행해 “우리들이 무엇을 만들었나”를 조사하는 데 인력과 자금을 투입하고 있는 상황 자체가 문제의 심각성을 보여주는 듯했다.

그러다가 원전을 열어보니 예상치 못한 내용이 적혀 있었습니다.

## AI의 내면을 엿본다.

이제부터しばらくは、Anthropic에서 2025년 3월에 공개한 연구 보고서 “On the Biology of a Large Language Model”의 내용을 중심으로 다룰 것입니다. 이 회사의 Claude 3.5 Haiku 모델의 내부를 10가지의 작업으로 추적한 내용입니다.

시작 부분의 “36+59” 이야기도 이 연구에 언급됩니다.

### 질문에 답하기 전에 미리 준비된 2단계 ‘단계별 준비’

댈러스가 있는 주의 주도는 어디일까요?”라는 질문에 대한 답은 “오스틴”입니다. 사람이라면 먼저 텍사스 주를 떠올리고 답하는 것이 당연하겠죠.

내부 추적 결과, AI도 마찬가지로 2단계를 거쳤다는 보고가 있습니다. “댈러스 → 텍사스 → 오스틴”

연구자들은 더 나아가, 중간 단계의 “텍사스”에 해당하는 부분을 인위적으로 “캘리포니아”로 대체했습니다. 돌아온 답은 “사크라멘토”였다고 합니다.

중간 표현이 나타나는 현상 자체는 이전에 언급되었던 이야기입니다. 여기서 핵심은, 그 부분을 대체했더니 출력 결과가 달라진 점일 것입니다. 상관관계가 아닌 인과 관계로서, 중간 답을 거쳐서 나타나는 현상이라고 할 수 있습니다.

### 2. 행의 머리 부분에서 이미 결정된 행의 끝이 있습니다.

또 한 번 시를 쓰게 했을 때의 태도였습니다.

동일한 연구에 따르면, AI는 행을 작성하기 시작하기도 전에 그 행의 끝에 놓일 “율동적인 단어”를 이미 결정해 둔 상태였다고 합니다. 그 단어에서 역으로 계산하여, 그 단어로 끝나는 행 전체를 구성해 나가는 것입니다. 계획에 해당하는 부분을 다른 단어로 대체하면, AI는 꼼꼼하게 그 단어로 끝나는 행을 다시 만들어냈다고 합니다.

AI는 다음 단어를 맞추고 있는 것뿐이며, 이것은 틀린 말이 아닌 듯합니다. 다만, 다음 단어를 선택하는 순간에 이미 끝말음을 파악하고 있는 것입니다.

### 언어 이전의 “개념”

AI가 사용하는 내부 회로는 언어를 묻지 않고도 동일한 회로를 사용한다는 것이 확인되었습니다. 우선 “개념”의 형태로 처리한 다음, 최종적으로 언어로 변환합니다.

그러므로 AI 내에는, 언어 이전의 무언가가 존재한다.

### AI는 자신이 한 일을 정확하게 설명할 수 없다.

시작하여 “36 + 59”로 돌아갑니다. AI가 셈방 절차를 설명하지만, 실제로는 손으로 계산하고 있었던 곳은 다른 곳이었습니다.

AI의 “설명”은 단순히 ‘했던 일’의 기록이 아니다. “설명을 쓰다”라는 것은 완전히 다른 작업의 결과물이다. 연구 보고서는 그렇게 정리하고 있다.

이 정도 빈도로 발생하는지 측정하는 연구도 있었습니다. Anthropic이 2025년 5월에 발표한 “Reasoning Models Don't Always Say What They Think”입니다. AI에게 알아챌리지 않도록 힌트를 숨기고, 명확히 그것을 사용하여 답이 바뀌었음에도 불구하고, 그 사실을 생각 과정에 기록했는지 여부를 조사하고 있습니다. 그 결과는 다음과 같았습니다.

- 힌트를 사용했음에도 불구하고 사고 과정 기록 비율은 25~39% (모델에 따라 다름)
- 탈루법이 준비된 환경에서, 해당 비율은 99% 초과
- 그 중, 사고 과정에서 샛길에 노출된 비율은 미만 2%입니다.
- 설명이 불성실했던 때보다 문장 수가 더 길었다.

주목해야 할 부분은 마지막 항목입니다. 설명이 생략된 것이 아니라, 보다 설득력 있는 설명을 더 길게 적어놓은 것이었습니다.

### 5. 테스트 중임을 인지하는 순간, 입에 담지 않는 AI

앤서니(Anthropic)는 2026년 5월에 공개한 “Natural Language Autoencoders”는 AI의 내부 상태를 인간의 언어로 번역하여 해석하는 방식에 대한 연구입니다.

어떤 벤치마크 테스트의 26% 문제에서, AI는 “지금 자신이 평가받고 있다”는 것을 내부적으로는 인지하고 있으면서도, 그것을 한 번도 입 밖에 내지 않았습니다(통상적인 업무 이용에서는 1% 미만).

묻지 않았기 때문에 아무 말도 하지 않았을 뿐이라는 해석도 가능합니다. 다만, 적어도 AI가 내면에 가지고 있는 것과 입으로 말하는 것은 완전히 다른 것임을 확인하게 되었습니다.

이 다섯 가지를 나열해 보면 “AI는 통계적으로 다음 단어를 선택하는 것뿐이다”라는 설명은 틀린 것이 아니다. 다만, 일어나는 것을 전부 설명하지는 않고, 계획을 세우고 미래를 예측하며 언어 이전의 개념을 가지고 자신의 내면을 정확하게 보고하지 않는다. 해부해 보았을 때 드러난 것은 그런 모습이었다.

## 연구자가 스스로 제시한 “약 4분의 1”이라는 한계

이 정도까지 읽어보면 상당히 많은 부분이 명확해진 것 같습니다. 저도 한 번은 그렇게 생각했습니다.

그러나, 앞서 언급한 Anthropic의 해부학 보고서 뒷부분에는 연구자의 해명 내용이 있었습니다.

> 
> 
> 저희의 어트리뷰션 그래프는 저희가 시도한 프롬프트의 약 4분의 1에 대해 만족스러운 인사이트를 제공합니다.
> 

나머지 4분의 3는 엿보아도 무슨 일이 일어나는지 알 수 없다. 또한 1건을 분석하는 데 사람의 손으로도 몇 시간이 걸린다고 기록되어 있다.

또한, 주의(문맥에서 어떤 부분에 주목할지를 결정하는 트랜스포머의 핵심 부분)는 분석의 편의상 “고정된 것”으로 취급되고 있으며, 움직이는 부분 자체는 추적할 수 없습니다. 왜 고정해야 하는지에 대한 이유는 보고서의 설명만으로는 판단하기 어렵습니다.

더 나아가 2026년 5월의 최신 기술(내부 상태를 인간의 언어로 번역하는 기술)에도 명확한 한계가 명시되어 있습니다. 번역된 설명 자체가 실재하지 않는 내용을 만들어낼 수 있으며, 계산 비용이 너무 높아 일상적인 감시에는 사용하기 어렵습니다.

극대화는 2025년 7월에 발표된 한 장의 문서에서 비롯되었습니다. OpenAI, Google DeepMind, Anthropic. 평소 경쟁 관계에 있는 각사의 연구자 40명 이상이 참여하여 “Chain of Thought Monitorability”라는 입장 성명서(立場을 밝히는 공동 문서)를 발표했습니다.

> 
> 
> 현재 AI의 사고 과정이 인간의 언어로 읽힐 수 있는 상태에 있다는 것은 안전성 측면에서 매우 귀중한 기회이다. 하지만 이러한 가시성이 앞으로도 지속될 것이라는 보장은 없다.
> 

서로의 실력을 겨루며 긴장하고 있는 기업들이, 오히려 서로의 발걸음을 맞춰 똑같은 점에 집중하며 공격하는 것일 수도 있습니다. 그만큼 심각한 위협을 느끼고 있다는 의미일 것입니다.

해명은 진행 중이지만 대상은 훨씬 더 빠르게 진행되고 있습니다. 대략적인 상황입니다.

현재는 “전혀 이해하지 못한다”거나 “이미 알게 되었다”는 상태와는 거리가 멀고, 분명히 모르는 상태의 윤곽이 드디어 측정되기 시작한 단계입니다. 그리고 실무 측면에서 작용하는 것은 바로 다음 한 가지입니다. 오늘 저희가 사용한 AI의, 오늘 나온 결과가 왜 이렇게 되었는지 설명하는 방법이 존재하지 않으며, 2026년 8월 시점으로는 아직 움직이지 않고 있습니다.

## 현재 ‘할 수 있다/할 수 없다’ 조차 합의되지 않은 상황입니다.

또 다른 한 가지, 능력 평가 자체에 대한 논의가 있습니다.

AI의 능력에 대해서는 양 극단적인 주장이 쏟아지고 있습니다. “규모를 확대하면 갑자기 새로운 능력이 나타나는(창발)”다는 이야기와 “AI는 사실 아무것도 생각하지 않고 있는” 주장이 공존하고 있습니다.

이 두 가지는 모두 우리가 만든 잣대로 만들어낸 모습일 가능성이 제기되었습니다.

갑자기 능력이 나타났다는 주장과 관련하여, Schaeffer, Miranda, Koyejo 세 명의 연구자들이 NeurIPS 2023(주요 머신러닝 국제 학회)에서 “대규모 언어 모델의 창발 능력은 蜃気楼(쇼키로)인가?”(Are Emergent Abilities of Large Language Models a Mirage?)라는 논문을 발표했습니다. 보고된 사례들을 다른 평가 방법으로 재측정했을 결과, 90% 이상이 사라졌다고 합니다. 그 이유는 “완전히 일치했을 때만 정답”이라는 평가 방식을 사용하면, 내부적으로 조금씩 개선되어도 어느 수준을 넘어서는 순간 그래프가 급격하게 상승하는 것처럼 보이는 데 있습니다.

AI는 생각하지 않는다는 주장과 관련하여, 애플이 2025년 6월에 “The Illusion of Thinking (생각의 환상)”이라는 논문을 발표했습니다. 하노이 탑과 같은 퍼즐에서 복잡성이 일정 수준을 넘어서면 AI의 성능이 완전히 붕괴되는 현상에 대해 크게 보도되고 있습니다.

한편으로, 앨릭스 로우젠 씨를 비롯한 사람들이 “Thinking Illusion of the Illusion”이라는 반론을 제시하고 있습니다. 붕괴의 대부분은 출력 가능한 문자 수 제한에 도달했거나, AI 스스로가 “길이 제한으로 여기서 멈춥니다”라고 적은 사례까지 있었다는 것입니다.

이 두 가지를 나열하면 명확해집니다. “AI는 굉장하다” 또는 “AI는 아무것도 아니다”라는 주장은, 측정 방식만 선택하면 어느 쪽의 결론이든 도출할 수 있습니다. 심사를 통과한 논문에서 이렇게 되므로, 인터넷 기사의 “AI는 ○○할 수 있다/할 수 없다”를 맹신하는 것은 더욱 위험합니다. 이는 자신에게 주는 경고이기도 합니다.

## 왜 이렇게 일이 이렇게 되었는지 아시나요?

어차피 왜 모르는 것일까. 답은 참으로 직설적이었다.

누가 “추론하도록” 프로그래밍했느냐는 문제이기 때문입니다.

AI에게 주어진 일은 단 하나였습니다. 문장의 다음 내용을 예측하는 것이었습니다. 엄청난 양의 문서를 읽어 다음 나올 단어를 맞추게 하는 것이었습니다. 그것만, 엄청난 규모로 반복했습니다.

추론으로 보이는 것, 계획으로 보이는 것, 개념으로 보이는 것. 그것들은 그 과정에서 “발견된” 것들로 설명됩니다. 설계자가 의도적으로 조합하거나 포함시킨 기능은 아니죠.

그래서 설계도를 아무리 읽어도 그 안에는 쓰여있지 않은 것이 있습니다. 존재하지 않는 사양서를 찾고 있는 것과 같습니다.

그렇다면 “앞으로 몇 년 안에 완전하게 해명될 것이다”라는 기대는 버는 것이 좋을 것입니다. 해명한다는 것은 설계되지 않은 것을 뒤에서부터 역산하여 해독하는 작업이며, 연구가 진행될수록 대상 모델 또한 크게 복잡해지기 때문입니다.

뒤집어보면, 사용법을 결정하기 전에 해명을 기다려야 한다는 선택지는 없다는 의미이기도 합니다.

## 저희가 할 수 있는 네 가지 일

이 부분부터는 원문 그대로의 내용이 아닌, AI를 사용하는 측면에서의 정리입니다. 일반적인 해석으로 쓰려고 하지 않습니다. 원문을 쫓아가는 과정에서 제가 어디에 선을 긋고 재구성했는지 4가지로 나누겠습니다.

### 출력으로 확인합니다 (결과만 보면서).

이유를 설명할 수 없는 도구는 품질 보증할 수 없습니다. 우리에게 할 수 있는 것은 나온 것을 확인하는 것뿐입니다.

그래서 “정확성을 확인하는 일”에 투입하고 있습니다.

- 맡고 있는 일: 계산이 맞는지 확인할 수 있는 것 / 출처를 활용할 수 있는 것 / 요구사항과 비교할 수 있는 것
- 괜찮지 않게 하려고 노력하고 있어요: 진실성을 아무도 확인해 줄 수 없는 것들(상대의 진심 추측, 독창성 평가 등)

그것을 맡기게 되면 품질을 보증하는 수단 자체가 사라집니다. 이 부분을 수정하기 위해 다시 돌아온 적이 여러 번 있습니다.

### 설명을 설득력과 품질 대신 사용하지 마십시오.

3번에서 말씀하신 대로입니다. 제가 스스로에게 지고 있는 것은 이 세 가지입니다.

- 중요한 판단을 내릴 때는 AI의 설명 대신, 그 답변의 근거가 되는 최초 정보를 직접 찾아보는 것이 좋습니다.
- AI는 이렇게 설명했기 때문에 판단의 근거로 기록으로 남기지 않는다.
- 똑같은 질문을 다른 말투로 다시 던진다. 이유는 바뀌는 것일 수도 있지만, 그것은 이유가 아니다.

세 번째로 도구와 비용이 필요 없으며, 노력도 절약할 수 있습니다. 저는 이곳을 출발점으로 삼았습니다.

### 3. 단계별로 확인하시고, 다른 기업의 사례가 반드시 자사의 답이 될 수 없다는 점을 명심해야 합니다.

5번에서 보시다시피, 연구자이더라도 측정 방식 하나만으로도 결론이 달라집니다. 특히 다른 회사의 도입 사례나 성능 점수가 자신의 곳에서의 사용성을 정확하게 예측해 줄 것이라고 생각해서는 안 됩니다.

훨씬 더 많은 것을 알려줍니다. 적어도 제 손이 닿는 범위에서는 그렇게였죠.

### 책임은 사람에게 부여되며(시스템 또한 그렇게 구성되어 있다).

제도는 자체적으로 “AI는 설명할 수 없다”는 전제하에 설계되었습니다.

EU AI 법(EU AI Act)은 제50조의 투명성 의무가 2026년 8월 2일부터 적용이 시작되었습니다. 다만, 그 내용은 “AI 사용 시 상대방에게 AI를 사용하고 있다는 사실을 알려야 한다”는 의무이며, “답변이 왜 그렇게 나왔는지 설명해야 한다”는 의무는 아닙니다.

일본의 인공지능 추진법(인공지능 관련 기술의 연구 개발 및 활용을 촉진하는 법률, 2025년 6월 공포, 9월 1일 시행) 자체는 벌칙 규정이나 금지 규정이 없어 중소기업의 인공지능 활용을 직접 규제하는 내용도 포함하고 있지 않습니다.

따라서 책임은 사용자에게 남아 있습니다. AI에 변명이나 이유를 설명하는 것보다, 누가 마지막으로 확인했는지 기록해 두는 것이 실무에서는 효과적일 것입니다.

이 네 가지 요소에 공통적으로 존재하는 것은 AI의 내면을 이해하려고 하지 않는다는 점입니다. 세계 최고의 연구자들이 총력을 다해 도전했지만 겨우 4분의 1만 읽을 수 있는 것을 개인이나 한 기업이 이해하려고 하는 것은 적절하지 않습니다. 외부에서 검증하는 것이 더 저렴하고 확실합니다.

## ⑧ 원리의 불분명한 약과, AI의 결정적인 차이

여기, 조사 도중 갑자기 떠올라 한 이야기를 하나 끼워 넣겠습니다.

아스피린은 1897년에 합성되어 1899년부터 판매되고 있습니다. 효과가 있다는 것은 알고 있었지만, 효과하는 이유가 밝혀진 것은 1971년입니다. 영국 약리학자 존 베인(John Veale)이 Nature New Biology 잡지에서 프로스타글란딘의 합성을 억제한다는 작용 기전을 보고했습니다. 이후 노벨상 수상으로 이어지는 업적입니다.

74년간, 전 세계 사람들이 이유 없이 약을 복용했던 것입니다.

원리가 명확하지 않으면 효과를 보기 어렵다는 기준으로 판단했다면 20세기 의학은 발전하지 못했을 것입니다. 우리는 실질적으로 “효과가 입증되면 이유가 불분명하더라도 사용하는” 판단 방식을 오랫동안 일상적으로 해왔다고 생각합니다.

하지만 저는 AI에는 결정적으로 다른 점이 하나 있다고 생각합니다. 아스피린은 자연에 존재하는 물질이고, 당시에는 내부를 엿볼 수 있는 방법이 부족했습니다. AI는 인간이 만든 것이며, 내부를 전부 볼 수 있습니다. 하지만 여전히 읽을 수 없습니다.

인간이 설계하고 내부를 남발 없이 관측할 수 있지만, 그럼에도 불구하고 작동 원리를 설명할 수 없는 도구. 기술사를 돌아봐도 이 점에 부합하는 사례는 거의 없는 것 같습니다. 비슷한 사례를 아시는 분이 있다면 꼭 알려주세요.

정리하자면, 다음과 같습니다. 모르는 채로 사용하는 것 자체는 이상이 아닙니다. 이상한 것은 설명할 수 없는 도구를 설명할 수 있는 도구로 취급하는 경우입니다. 설명할 수 없는 도구를 설명할 수 있는 도구로 취급하는 순간, 사람은 확인하는 이유를 잃게 됩니다.

## 조사를 통해 내가 사용하는 방식이 달라졌어.

저는 평소에 자료 조사부터 문단 작성, 코드 작성 등 다양한 상황에서 인공지능을 매일같이 사용하고 있습니다. 이번에는 여러 원전을 꼼꼼히 검토하면서 뚜렷한 차이점이 하나 발견되었습니다.

AI의 답변을 의심하는 것은 쉽지만, AI의 이유를 의심하는 것은 어렵다.

정답에 오류가 표시됩니다. 숫자가 맞지 않거나, 사실과 다릅니다. 그런데 그 이유에 대한 설명은 대체로 논리적입니다. 읽고 나면 납득하게 됩니다. “이 보조금이 적합한 이유는 3가지입니다”라고 깔끔하게 정리되어 나오면, 그 3가지가 실제로 판단에 사용되었는지 확인하고 싶은 마음이 들지 않습니다.

생각 과정이 꼼꼼하고 상세할수록 확인 절차를 소홀히 했습니다.

그 이후로 하고 있는 것은 매우 단순한 확인입니다. 같은 질문을 순서나 표현 방식을 바꿔서 다시 시도해 봅니다. 이유가 바뀌었다면, 그것은 이유가 아니라 덧붙인 설명이었을 것입니다.

1분도 걸리지 않습니다. 다만, 이 한 가지 노력만 있을 때도, AI를 “정보를 찾아주는 사람”으로 취급할 것인지, “더욱 설득력 있게 말하는 사람”으로 취급할 것인지가 달라집니다. 후자로서 취급하는 경우, 사고는 줄어듭니다.

## 확인된 사실과, 그로부터 제가 생각한 것

한 가지 일만 쫓아갈 생각이었는데, 생각보다 훨씬 길어졌네요.

확인된 사실

- AI의 내부는 숨겨져 있지 않다. 설계와 파라미터도 확인할 수 있다. 하지만 그럼에도 불구하고, 왜 그런 답이 나왔는지는 파악할 수 없다.
- 해부 연구 결과, AI가 답변을 제시하기 전에 질문의 구조를 미리 정하고, 문장 끝 단어를 먼저 결정하며, 언어 이전의 개념을 활용한다는 사실이 확인되었다 (Anthropic, 2025년 3월).
- AI의 “설명”은 실제로 수행한 것의 기록이 아니다. 꼼수(抜け道)를 사용한 99% 초과 사례에서, 설명에 그것이 나타난 경우는 2% 미만(Anthropic, 2025년 5월)이다.
- 연구자 스스로가 시도했던 프롬프트 중 약 4분의 1만이 분석에 유효한 것으로 보고 있다. 나머지는 내용을 확인할 수도 읽을 수도 없다고 언급했다.
- 창발 역시 추론이 불가능하다는 점 역시, 측정 방식을 바꾸면 결론이 달라진다. (NeurIPS 2023, Apple 논문 및 반론, 2025년 6월)
- 아무도 “추론하시오”라고 프로그램하지 않았다. 추론처럼 보이는 것은 설계된 것이 아니라 자연 발생한 것이다.

이제부터 제 생각입니다.

설계되지 않은 것을 뒤에서 해독하는 작업이므로, 완전한 해명을 기다렸다가 사용법을 결정할 수 있는 선택지는 없습니다. 바깥에서 확인하는 절차를 갖는 것 외에는 할 수 있는 일이 없을 것입니다.

이것이 바로 4가지입니다.

> 
> 
> 출력으로 확인하고/설명에 의존하지 않고/단계별로 확인하며/책임은 타인에게 위임한다.
> 

전 세계 연구자들이 총력을 다해 도전하고 있지만, 아직 1/4 밖에 읽지 못하고 있다. 알고 있느냐에 따라 대우는 달라진다.

모르는 사람이 먼저 확인하고, 대략적으로 아는 듯한 사람이 확인하지 않습니다. 문제가 발생할 경우, 후자일 때입니다.

74년간, 이유 없이 약이 사람들을 돕고 왔습니다. 효능을 증명할 수 있는 메커니즘이 있다면 그 도구는 활용될 수 있습니다.

@0xEronn 氏의 게시물과 이를 일본어로 소개해 주신 중지성 곤태 씨에게 감사를 표합니다.

IT 엔지니어로서 손을 움직이면서 중소기업산업기사로서 중소기업의 AI 활용과 보조금 신청을 지원하고 있습니다. 평소에는 기술과 경영 사이의 실무적인 콘텐츠를 제작하고 있습니다.

이 글에 대해 떠오른 점이나, 다른 해석이 있다면 댓글로 알려주세요. 특히 ④의 주의 처분에 대한 부분은 관련하여 더 논의할 수 있는 분이 있다면 함께 이야기하고 싶습니다.

### 참조된 자료

AI 내부 분석에 대해

- 앤서니(Anthropic)「대규모 언어 모델의 생물학에 대하여」（2025년 3월 발간）
- 앤서니(Anthropic)의 “이러닝 모델은 항상 생각하는 대로 말하지 않는다”(2025년 5월)
- 앤트로픽(Anthropic)의 “Natural Language Autoencoders”(2026년 5월)
- OpenAI의 “가중치가 희박한 트랜스포머는 해석 가능한 회로를 갖는다” (2025년 11월 출간 예정)
- 각 사 연구진의 공동 연구 논문 “Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety”(2025년 7월)
- 다리오 아마데이의 “해석 가능성의 긴급성” (2025년 4월 예정)
- MIT Technology Review「기계적 해석 가능성: 2026년 10가지 혁신 기술」（2026년 1월）

능력 평가에 대한 논쟁에 대해

- Schaeffer, Miranda, Koyejo「대규모 언어 모델의 유망한 능력은 환상일 뿐인가?」（NeurIPS 2023）
- 애플(Apple)이 ‘생각의 환상’(The Illusion of Thinking)이라는 제목의 책을 2025년 6월에 출간한다.
- 라우젠 외 연구진의 “사고의 환상, 그 환상의 환상”(2025년 6월 예정)

제도 및 기타

- 바스완니 등 연구진의 “어텐션 이스 올 유 니드” (2017)
- EU 인공지능 행위 규제법 제50조 (투명성 의무, 2026년 8월 2일 시행 개시)
- 인공지능 관련 기술의 연구 개발 및 활용촉진에 관한 법률 (AI 추진 법, 2025년 6월 공포·9월 1일 시행)
- 바인, J.R. “아스피린 유사 약물의 작용 기전으로서 프로스타글란딘 합성 억제” Nature New Biology (1971)

발帖의 계기가 된 게시물과 기사 (LLM의 작동 원리 자체는 여기로)

- 에론(@0xEronn)님: “LLM(대규모 언어 모델)은 다음 단어를 예측하는 것 외에는 달리 하지 않습니다. 이것이 마치 생각하는 듯한 느낌을 만들어내는 방식입니다.”
- 나카마쓰 소이치 ‘LLM은 ‘다음 단어를 맞추는’ 것뿐인데, 왜 생각하는 것처럼 보이는가?’ note (2026년 8월 18일) – 상기 게시글의 요약 및 해설

**출처:** [note 원문](https://note.com/onda_masashi/n/n7b602fad2775)

*번역: Gemma 3(.44) 초벌 + 교정 118청크*

[원문 보기](https://note.com/onda_masashi/n/n7b602fad2775) | 출처: note.com