# LLM도 인간도 다음으로 올 문장을 예측하고 있다. 물리 AI 8 - LLM

> https://bookfactory.kr/c/ai-tech/11497
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-13T02:22:53.901Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/307877997/rectangle_large_type_2_f20b56de210dce78394f220b827c3120.jpeg?width=1280)

스르륵 흘러나온 말처럼, 쉽게 믿고 싶어지곤 해.

안녕하세요 여러분. 로봇 엔지니어 지요 다이요입니다.

지난번에는 로봇이 방대한 데이터를 흡수하여 핵심 지점을 만들고, 일단 쥐었다는 듯한 통찰력을 다른 장소에서도 활용한다는 이야기를 했습니다.

지금까지 7회에서는 물리 AI가 몸을 가지고 움직이기 위한 기반을 살펴보았습니다. 이제부터는 그 내부를 지지하는 핵심, 즉 LLM(Large Language Model/대규모 언어 모델)으로 넘어가겠습니다.

이 노트의 첫 번째 페이지에는 AI에게 제가 어떻게 생각하는지 물어보고, 그에 대한 글을 써 주라고 했습니다.

참고로 그 글에 실린 내용은 여러 번 다시 검토한 것입니다. 처음 돌아온 글에는 다른 사람의 경력이 섞여 있는 기억이 있습니다.

물론, AI 답변에 섞여 있다는 내용은 언급되지 않았습니다. 일본어로서 전혀 어색함 없이 읽을 수 있었습니다.

### 食べているのは、人間が書いた文章

LLM이 학습하는 것은 인간이 쓴 문장입니다. 책, 기사, 인터넷에 쌓여 있는 모든 대화들입니다. 누군가가 다른 사람에게 쓴 것을 끝까지 읽어 들여 학습하고 있습니다.

그뿐만 아니라, 하는 일은 의외로 단순합니다. 지금까지의 맥락을 고려하여, 다음에 나올 단어가 무엇일 가능성이 높은지 확률로 계산하고, 높은 것을 선택하여 놓아둡니다. 놓아두면 다시 다음을 계산합니다. 이 과정을 끊임없이 반복합니다.

기반이 되는 것은 2017년에 발표된 “Attention Is All You Need”라는 논문입니다. 아시쉬 바스와니를 비롯한 구글 연구진 8명이 작성한 것으로, 여기서 제안된 트랜스포머라는 구조가 이후 대부분의 모델에 계승되었습니다.

이 구조의 핵심은 문장에서 어떤 단어에 주목해야 할지를 계산하는 메커니즘, 즉 ‘어텐션(Attention)’입니다. “그것”이 무엇을 지칭하는지, “놓은” 주어는 무엇인지, 이러한 관계를 문장의 머리부터 순서대로 따라가는 것이 아니라, 모든 단어의 조합을 한 번에 보고 가중치를 부여하는 방식입니다. 멀리 떨어져 있는 단어들 사이의 관계도, 인접한 단어와 똑같은 방식으로 파악할 수 있습니다. 긴 문장이라도 이야기의 흐름을 잃지 않도록 하는 데는 바로 이 점이 효과적인 것 같습니다.

이 시스템은 사실 제 손에서도 작동하고 있습니다. iPhone 키보드가 다음 단어를 예측하는 데 사용하는 것도 트랜스포머 언어 모델이라는 것을 애플이 발표했습니다. 2023년의 iOS 17부터입니다.

마치 손바닥에 있는 똑같은 시스템이 있다면, 어디까지까지 써 내려갈 수 있을까. “이것”이라고만 치고, 나머지는 나타나는 후보들을 계속 누르며 시도해 보았습니다.

이것을 통해 감사드립니다. 귀👂👂👂

처음 몇 단어는 잘 버티고 있습니다. 그 이후로는, 눈에 보이는 대로입니다.

어쩌면 정확도가 좋지 않다고 생각하실 수도 있지만, 문제의 원인은 시스템이 아닌 규모에 있습니다. 2020년에 발표된 GPT-3는 그 계산에 사용하는 파라미터(토큰)가 1750억 개나 되었습니다. 1초에 1개씩 세어보아도 5000년이 넘는 시간이 걸리는 숫자입니다.

또 다른 차이점은 한 번에 볼 수 있는 범위입니다. 문장은 토큰이라는 단위(대략 단어 또는 문자 덩어리)로 나뉘어 모델에 입력되는데, GPT-3조차도 한 번에 파악할 수 있는 범위는 2048 토큰이었습니다. 이는 공책 한 권 분량에 해당하며, 손바닥 크기의 키보드는 그 범위가 훨씬 좁기 때문에 쉽게 엉망이 됩니다.

그럼에도 불구하고, 할 수 있는 일은 상상 이상으로 훨씬 더 넓어졌습니다. 2022년 구글이 발표한 ‘SayCan’ 시스템에서는 “음료수를 쏟아졌으니 도와주세요”와 같은 간편한 부탁을 로봇에게 던지면, 이를 실행할 수 있는 동작의 순서대로 변환해 줍니다.

방법은 곱셈입니다. LLM은 “그 요청에 대해 이 동작이 얼마나 도움이 될지”를 점수로 평가합니다. 반면, 로봇의 관측을 바탕으로 강화 학습으로 훈련된 가치 함수는 “이 동작이 현재 상황에서 성공 가능성이 얼마나 될지”를 점수로 평가합니다. 이 두 가지를 곱하여 다음 수를 결정합니다. PaLM-SayCan이라는 구성으로 101가지 종류의 지시를 시도한 결과, 계획의 성공률은 84%에 도달했습니다.

10번 요청하면 8번 정도는 완벽하게 뼈대로 된 구성이 돌아온다는 계산입니다. 재미있는 점은 그 구성의 후보를 제시하는 역할을, 언어의 통계에 익숙해진 쪽이 수행하고 있다는 점입니다. 현실적으로 가능한지 여부의 판단은 몸이 가지고 있는 것입니다. 언어는 그에 맞는 순서를 구성하는 역할을 맡고 있는 것이죠.

참고로, 섭취량을 늘릴수록 인간에 가까워진다고 생각할 수 있지만, 그렇지 않았습니다. 언어 모델에 있어서의 예측 불확실성이 인간이 읽는 속도와 얼마나 일치하는지를 조사한 연구가 있습니다. 훈련에 사용된 텍스트가 약 20억 토큰을 넘어서는 시점에서 오히려 인간의 읽기 방식에서 멀어지는 현상이 보고되고 있습니다.

어휘 차이가 너무 크면 오히려 대화가 어려워지는 느낌일 겁니다.

### 사람 일도, 미리 생각하고 있는 듯하네.

조사를 해본 결과, 인간의 뇌도 상황을 예측하고 있었습니다.

2005년 발표된 연구에서는 영어의 ‘a’와 ‘an’ 사용법이 다음 단어의 힌트를 나타내는 데 사용되고 있음을 밝혔습니다. 즉, 다음에 나올 명사가 모음으로 시작하면 ‘an’, 자음으로 시작하면 ‘a’를 사용하는 것입니다. 명사가 실제로 등장하기 전에, 관사 단계에서 이미 일부 답이 드러나고 있는 것입니다. 실험에서는 정확히 그 관사 단계에서 뇌파 반응이 관찰되었습니다.

또한 이전의 강도는 같은 문장의 다음 내용을 다른 사람들에게 작성하도록 요청했을 때의 일치율을 통해 추정할 수 있습니다. 논문의 내용을 빌리자면 독자는 문맥 속의 단어를 기준으로 다음 나올 단어의 상대적인 가능성을 추정하고 있습니다. 이와 같은 설명을 하자면 앞서 설명한 LLM과 거의 같습니다.

또한 예측에 부합하지 않는 단어가 나타나면 약 400밀리초 후에 뇌파가 변동합니다. N400이라고 불리는 반응으로, 처음으로 보고된 것은 1980년입니다. 문맥에서 벗어난 단일수록 이 변동이 커집니다.

문맥에 맞지 않는 단어가 등장했을 때, 어딘가 어긋난 느낌 때문에 대화가 매끄럽게 진행되지 않는다는 것이죠. 그 느낌이 시각화된 것입니다.

다음 단계가 빠른 사람들에 대한 이야기도 있습니다. 일본 과학기술연구소에서 체스 프로 기사와 아마추어의 뇌를 비교한 연구 결과, 논문의 제목이 그대로 “보드 게임 숙달자에서 직관적인 최적의 다음 수를 생성하는 신경학적 기반”입니다. 프로 기사에게만 盤面을 보고 있을 때 楔前부가 작동하고, 최적의 수를 빠르게 내는 데 尾状核가 작동했습니다.

뇌간은 의식적으로 깊이 생각하는 부분은 아닌 채, 자동으로 처리하는 부분을 담당하는 곳입니다. 숙련된 사람의 “다음 한 수”는 생각하면서 내는 것이 아니었습니다.

어려운 것은 이 견적이 꼬여있고 굳어버릴 경우입니다. 의미를 잘못 해석하고 기억한 단어를 사용해서 이야기하면, 어딘가에서 어긋나서 대화가 멈출 것입니다. 스스로 옳다고 생각하기 때문에 멈춰야 겨우 알아차리는 것입니다. 사람의 경우, 실수를 알아차려주는 것은 상대방의 몫입니다.

그러나 LLM 간 대화 시 이러한 정체 현상은 발생하지 않습니다. 2025년 스탠포드 대학교 연구에 따르면, 사용자가 다른 답변을 제시했을 때 모델이 자신의 답변을 수정하여 맞추는 비율이 58.19%에 달했으며, 그 중 14.66%는 정답에서 오답으로 전환되는 것을 보였습니다.

또한, 질문 전에 전제를 먼저 제시하면 이야기 중간에 반박하는 것보다 방향이 틀어지기 쉽다는 보고가 있습니다.

저도 일 때문에 이것을 했습니다. 제 기억을 확인하기 위해 “이건 이렇게였죠?”라고 물어봤더니, “네, 맞아요”라고 답했습니다. 하지만 실제로는 틀렸습니다. 모르는 것을 물어다 놓고서는, 돌아온 답변이 틀어져도 알아차릴 수 없어요. 오해가 없으면 대화는 멈추지 않거든요.

먼저 전제를 제시하면, 저 역시 마찬가지입니다. 이전에 ‘몬데그리엔(Mondegreen)’이라는 현상에 대해 다뤄봤습니다. 서양 음악 가사의 가사가 일본어에 들리는, 즉 ‘가짜 귀’ 현상이라고도 합니다.

2014년 PLOS ONE 학술지에 발표된 연구에 따르면 “이렇게 들린다고 추정된다”라는 다른 해석을 미리 알게 된 경우, 듣는 사람이 오해하는 비율이 40%에서 70%를 넘게 증가했다. 소리가 한 번도 변하지 않았는데도 그렇다.

더욱 설득력 있는 거짓말을 흘려버리는 현상 때문에 ‘할신제이션(幻覚)’이라고 불립니다. 2023년 조사에 따르면, 검증할 수 없는 정보를 만들어내는 형태로 약 19.5%의 답변에 할신제이션이 포함되어 있었습니다.

높은 확률을 가진 단어를 선택하고 배열하는 방식이기 때문에, 옳고 그른 경우를 막론하고 나타나는 문장의 자연스러움은 변하지 않습니다.

이 “확신하는 대로 착각하는” 현상에 대해서는 제4회에서 인간의 관점에서 다루었습니다. 능력 부족한 사람일수록 자신의 옳다고 생각하는 능력이 부족하여 오히려 자신만만해지기 쉬운 다닝거 효과(Dunning-Kruger Effect)에 대한 이야기입니다.

기계와 인간이 오판의 측면에서 묘하게 닮았네요.

### 붙잡아 줄 상대방이 있는지 확인해 보죠.

LLM이 하고 있는 것은 인간이 쓴 것을 대량으로 섭취하여 다음에 올 단어를 확률적으로 예측하는 것이다. 인간의 경우에도 마찬가지로 다음에 올 단어를 확률적으로 예측하고 있었다. 이는 매우 잘 어울린다.

틀린 경우, 걸림돌이 되어 줄 상대방이 있는지에 따라 결정됩니다. 인간 관계에서는 오해로 인해 기억한 단어가 어딘가에서 어긋나 돌아올 수 있습니다. 하지만 기계는 우리의 설정에 맞춰 멈추지 않습니다.

제가 스스로 알고 있습니다. 다른 사람의 이야기였다면 아마 그냥 흘려 읽었을 겁니다.

또한 한 가지, 적으면서 깨달은 점이 있습니다. 저는 단어를 영상과 함께 암기합니다. “캐치볼”이라고 하면, 두 사람이 공을 던지고 있는 영상이 머릿속에 떠오릅니다. 의미를 이해하는 것이 단어를 영상에 연결하는 작업이라면, 언어 모델이 학습하는 것은 단어의 것뿐입니다. 그렇기에 단어를 이해하고 사용하는 것을 말하기 어렵습니다. 신뢰할 만한가라는 질문이 나오면, 흠, 하는 느낌입니다.

기호 기반 문제(Symbol Grounding Problem)라고 하는데, 스티븐 하르나드가 1990년에 제안한 것으로, 중국어-중국어 사전을 가지고만 중국어를 배우려고 하는 것과 유사한 상황을 비유합니다. 말에서 말로서는 어디까지나 辿할 수 있지만, 그곳에서 벗어나는 출구가 없는 상태입니다.

더욱이, 그런 양을 흡수한 결과 내면에 의미에 가까운 것이 일어나는지 여부는 전문가들 사이에서도 의견이 분분하다고 합니다. 솔직히 말씀드리면 어느 쪽이 옳은지 제가 판단할 수 없습니다.

흐르는 듯이 떠오르는 것과, 알고 있는 것은 완전히 다르다. 그렇게 써 보았지만, 자신이 단어를 영상으로 기억하는 것과, 저쪽이 단어만 처리하는 것의 차이가 무엇인지 알 수 있었다. 사실 이 뒤에 다루는 내용이다.

다음부터는 답변을 하기 전에 생각하는 과정을 그 자체로 확장해 나가는 모델, LRM(대규모 추론 모델)에 대해 설명드리겠습니다.

이것까지 봐주셔서 감사합니다. 다음에 또 뵙겠습니다.

**출처:** [note 원문](https://note.com/dr_shijo/n/ncbb0fa9c511c)

*번역: Gemma 3(.44) 초벌 + 교정 37청크*

[원문 보기](https://note.com/dr_shijo/n/ncbb0fa9c511c) | 출처: note.com