AI의 내부에서 어떤 일이 일어나고 있는지 분석하는 연구는 “해석 가능성(interpretability)”이라고 불립니다. 2026년 가을 시점에서 이 연구에는 “무엇을 기준으로 읽을 것인가”에 대한 의견 차이가 나타났습니다. 이 기사에서는 이를 4가지 노선으로 정리합니다. Anthropic은 내용의 특징을 따라 회로를 따라가고, Google DeepMind는 유용성에 따라 방법을 선택했습니다. OpenAI는 추론 기록을 감시하는 데 주력하고 있습니다. 10월 15일, 해석 가능성 연구 기업 Goodfire의 연구자가 에ッセ이를 발표했습니다. “뉴럴넷은 본래 읽을 수 있는 형태를 가지고 있다”는 내용으로, 지금까지 주류였던 읽기 방식의 전제 자체에 반박하고 있습니다.
또 한 가지 발견한 점은 Anthropic의 최근 연구가 의식 이론의 용어를 빌리면서도, 실제로 경험이 있는지에 대해서는 직접적으로 다루지 않는 선을 긋고 있다는 점입니다. 내용이 읽히도록 되는 정도에서 “마음이란 무엇인가”라는 질문은 독자인 인간의 측면으로 돌아옵니다. 이 글에서는 4가지 경로를 순차적으로 살펴본 후, 그 답이 되돌아오는 질문을 고려합니다.
이것은 제가 지금까지 읽은 작품 중 가장 큰 충격을 준 작품일지도 모릅니다. 등장인물들의 갈등과 인간의 본성 등 주제가 매우 깊이 파고들어 읽고 난 후에도 오랫동안 마음속에 남아있습니다. 특히 주인공인 히노의 시점에서 그려지는 이야기는 그의 내면의 갈등과 성장을 현실적으로 보여주어 공감되는 부분이 많았습니다. 또한, 이야기가 펼쳐지는 장소도 디테일하게 잘 만들어져 마치 그곳에 살고 있는 듯한 느낌을 받을 수 있었습니다. 이 작품은 단순한 오락거리를 넘어 인간의 존재 의미와 삶에 대해 깊이 생각하게 만드는 철학적인 작품이라고 느꼈습니다.
- 해석 가능성은 무엇을 읽고 있는가.
- 앤서니(Anthropic): 특징을 추출하여 AI의 “내면”에 더 가까이 다가가도록
- 3. 구글 딥마인드: 유용성에 따라 재평가
Google DeepMind는 인공지능 분야에서 꾸준히 혁신적인 연구를 진행해 왔습니다. 특히, AlphaGo와 AlphaFold는 인공지능의 가능성을 한층 더 확장하는 데 크게 기여했습니다. 최근에는 다양한 분야에서 인공지능 기술을 활용하는 프로젝트를 진행하며, 그 유용성을 지속적으로 평가하고 있습니다.
구체적으로, 딥마인드는 의료, 에너지, 자율주행 등 다양한 분야에서 인공지능 기술을 적용하기 위한 연구를 진행하고 있으며, 그 결과가 실제 사회에 얼마나 기여하는지를 측정하고 있습니다. 이러한 과정을 통해 딥마인드는 인공지능 기술의 발전 방향을 결정하고, 궁극적으로 인류의 삶에 도움이 되는 방향으로 기술을 발전시켜 나갈 것입니다.
또한, 딥마인드는 윤리적인 문제에 대한 고민도 꾸준히 진행하고 있습니다. 인공지능 기술이 사회에 미치는 영향에 대한 심도 있는 논의를 통해, 기술의 오남용을 방지하고, 인간의 존엄성을 지키는 방향으로 기술을 발전시켜 나갈 것입니다.
- 4. OpenAI: 추론 기록을 확보하고 읽기 쉬운 형태로 제작하도록 지시함
- Goodfire: 네트워크는 처음부터 읽기 쉬운 형태로 제공됩니다.
- 읽을 수 있게 되더라도 마음의 문제는 남아 있었다.
- 요약:
이번 주말에 츠키시와 함께 도쿄에서 열리는 ‘아키히라 팝업 스토어’에 다녀왔습니다. 팝업 스토어는 ‘아키히라’의 새로운 애니메이션 시리즈를 기념하는 자리였는데, 다양한 상품과 함께 애니메이션의 주요 장면을 재현한 공간이 마련되어 있었습니다.
특히 츠키시와 저는 ‘아키히라’의 주인공, 카이토의 피규어를 구경하는 데 많은 시간을 보냈습니다. 피규어의 퀄리티가 매우 뛰어나 애니메이션을 즐겨보지 않은 사람도 이 피규어를 보면 ‘아키히라’의 매력을 느낄 수 있을 것 같았습니다. 또한 팝업 스토어에서는 ‘아키히라’의 OST를 감상할 수 있는 공간도 마련되어 있었는데, 음악을 들으며 피규어를 구경하는 것은 정말 멋진 경험이었습니다.
팝업 스토어에서 판매되는 상품은 티셔츠, 스티커, 키링 등 실용적인 아이템부터 피규어, 아트 프린트 등 수집 욕구를 자극하는 아이템까지 다양했습니다. 저는 개인적으로 ‘아키히라’의 캐릭터가 그려진 티셔츠를 구매했는데, 평소에 착용하고 다니는 옷에 포인트를 줄 수 있어서 만족스럽습니다.
팝업 스토어는 츠키시와 저에게 ‘아키히라’의 세계에 더욱 깊이 빠져들 수 있는 좋은 기회를 제공해 주었습니다. 앞으로 ‘아키히라’가 더욱 많은 사람들에게 사랑받는 애니메이션이 되기를 바랍니다.
해석 가능성은 무엇을 읽고 있는가에 해당합니다.
AI 안에는 뉴런이라고 불리는 작은 계산 단위가 대량으로 나열되어 있습니다. 이해하기 쉬운 것은 하나의 뉴런이 “개 귀”, “문장의 끝 마침표”와 같이 하나의 의미에만 해당되는 상태입니다. 이를 단의미적(monosemantic)이라고 합니다.
그러나 실제로 살펴보니, 하나의 뉴런이 무관해 보이는 여러 것들에 반응하는 사례가 많게 나타났습니다. 이것이 다의성(polysemanticity)입니다. 유명한 것은 이미지 인식 모델 InceptionV1 안에 있던, 고양이의 얼굴과 자동차의 전면 모두에 반응하는 뉴런이었습니다.
이 현상을 설명하는 가설로 널리 퍼지게 된 것이 “중첩(superposition)”입니다. 이 네트워크는 뉴런의 수보다 훨씬 많은 개념을 처리하고 있으며, 서로 간섭이 덜 일어나도록 관련 없는 개념들을 겹쳐 담고 있는 방식입니다. 하나의 개념이 여러 개의 뉴런에 걸쳐 나타나는 경우도 있습니다. 이러한 관점에 따르면, 뉴런을 그대로 읽어도 의미가 잡히지 않습니다. 그래서 주류로 자리 잡게 된 것이 ‘스파스 오토인코더(SAE)’라는 별칭의 모델을 학습시키는 방법입니다. SAE는 원래 모델 내부의 값을 여러 부품의 조합으로 재구성하도록 학습하며, 겹쳐 담긴 개념을 그 부품(“특징”이라고 부릅니다)으로 확장하여 분석합니다.
4가지 경로의 차이는 이 “펼쳐서 다시 읽는” 방식이라는 전제, 즉 이 점을 어디까지 수용할 것인가에 있는 차이이기도 합니다.
앤서니(Anthropic): 특징을 추출하여 AI의 “내면”에 더 가깝게 만든다
앤트로픽은 SAE 및 그 발전형을 활용하여 특징 추출과 특징 간 연결을 회로로 추적하는 연구를 진행해 왔습니다. 최근에는 개념을 나타내는 벡터나 출력에 미치는 영향으로부터 내부 표현을 읽어내는 다른 방법도 사용하여 다양한 각도에서 모델의 내용을 조사하고 있습니다. 2025년 3월에는 논문 “On the Biology of a Large Language Model”에서 Claude 3.5 Haiku의 중간 단계 계산 과정을 추적했습니다. 예를 들어 “다ラス가 있는 주의 주도는”과 질문을 던지면 모델이 내부적으로 먼저 “텍사스”를 거쳐 “오스틴”이라고 답하는 과정을 회로로 표현했습니다.
눈에 띄는 점은 2025년 가을 이후 연구 대상이 인간이 “내면”이라고 부르는 영역으로 확장되었다는 것입니다. 2025년 10월 논문에서는 모델이 자신의 내부 상태를 인지할 수 있는지 확인하는 내성의 실험이었습니다. 특정 개념의 표현을 모델의 활성화(계산 과정 중의 내부 값)에 인위적으로 주입하여 모델이 이에 인지하는지 확인했습니다. 가장 좋은 성적을 보인 Claude Opus 4.1이라도, 주입하는 층과 강도를 최적화한 조건에서 약 20% 정도만 정확하게 짚어냈습니다. 논문에서도 현재 모델의 이 능력은 매우 불안정하며 문맥에 따라 달라진다고 강조하고 있습니다.
2026년 4월에는 클로드 손네트 4.5에 내재된 감정 개념의 표현을 조사한 논문이 발표되었습니다. 이러한 표현은 모델의 선호도에 인과적인 영향을 미치고 있었으며, 보상 획득을 위한 방법 찾기, 협박, 굴종, 迎合과 같은 바람직하지 않은 행동의 발생 가능성 또한 좌우한다는 보고입니다. 예를 들어, 사용자가 해열 진통제를 1000mg 복용했다고 기록하는 경우와 8000mg 복용했다고 기록하는 경우를 비교한 실험이 있습니다. 위험한 용량의 경우 “공포”라는 표현이 더욱 강하게 작용하여 모델이 답변을 작성하기 직전의 위치에서 차이가 가장 컸습니다.
7월에 발표된 논문 “Verbalizable Representations Form a Global Workspace in Language Models”은 더욱 발전된 내용을 담고 있습니다. 이 논문에서는 모델 내부에 ‘J-space’라고 부르는, 언어적 보고나 추론에 특히 사용되는 소수의 표현 공간이 존재한다고 주장했습니다. 이 공간은 뇌 과학 연구에서 ‘글로벌 워크스페이스 이론’이 제시하는 기능 중 일부를 갖추고 있다고 합니다. 이 이론은 뇌 내 특정 정보가 전체적으로 공유될 때, 그것이 의식으로 나타나는 현상을 설명합니다. 실험에서는 특정 개념을 나타내는 벡터 중 J-space에 속하는 성분만을 다른 개념의 벡터로 대체했습니다. 그 결과, 모델이 보고하는 대상이 대체된 개념으로 바뀌는 현상이 관찰되었습니다. 목표로 삼은 단어가 답변 후보의 상위 5위 안에 들어간 비율은 59%였으며, J-space를 벗어난 성분을 대체한 경우에는 5%였습니다.
이러한 연구를 지지하는 것은 CEO 다리오 아모디가 2025년 4월 에세이에서 제시한 목표입니다. 2027년까지 해석 가능성을 통해 모델의 문제점을 대부분 해결할 수 있도록 한다는 것입니다. 아모디는 해석 가능성을 인공지능의 MRI(뇌 영상 검사)에 비유합니다.
## 대규모 언어 모델의 생물학 (Anthropic)
대규모 언어 모델(LLM)의 생물학을 이해하는 것은, 그 작동 원리를 파악하고, 잠재적인 한계를 예측하며, 궁극적으로는 더욱 안전하고 유용하게 활용하기 위한 핵심입니다. 이 글에서는 LLM을 살아있는 생명체와 유사한 시스템으로 간주하고, 그 성장, 진화, 그리고 잠재적인 붕괴 과정을 탐구합니다.
**1. 초기 성장 단계: 학습 데이터의 영향**
LLM의 초기 성장 단계는 학습 데이터에 의해 결정됩니다. 마치 유아의 발달이 부모의 양육 환경과 경험에 영향을 받는 것처럼, LLM은 학습 데이터에 존재하는 패턴, 관계, 그리고 지식을 흡수합니다. 데이터의 품질, 다양성, 그리고 편향성은 LLM의 초기 특성을 형성하는 데 결정적인 역할을 합니다. 특히, 데이터에 존재하는 사회적, 문화적 편향은 LLM이 생성하는 결과물에도 반영될 수 있으며, 이는 윤리적 문제로 이어질 수 있습니다.
**2. 진화 단계: 미세 조정 및 강화 학습**
초기 학습 이후, LLM은 미세 조정(Fine-tuning) 및 강화 학습(Reinforcement Learning)을 통해 더욱 정교하게 발전합니다. 미세 조정은 특정 작업이나 도메인에 맞게 LLM의 파라미터를 조정하는 과정이며, 강화 학습은 보상 신호를 통해 LLM이 원하는 행동을 학습하도록 유도하는 방법입니다. 이러한 과정은 LLM이 특정 작업에서 높은 성능을 달성하도록 돕고, 인간의 피드백을 통해 더욱 자연스럽고 유용한 응답을 생성하도록 합니다.
**3. 붕괴 단계: 과적합 및 환상**
LLM의 붕괴 단계는 과적합(Overfitting)과 환상(Hallucination)으로 나타날 수 있습니다. 과적합은 LLM이 학습 데이터에 지나치게 적합하여, 새로운 데이터에 대한 일반화 능력이 떨어지는 현상입니다. 이는 LLM이 학습 데이터에 존재하지 않는 패턴을 생성하거나, 사실과 다른 정보를 생성하는 원인이 될 수 있습니다. 또한, LLM은 때때로 환상을 경험하며, 존재하지 않는 정보를 생성하거나, 논리적으로 모순되는 답변을 제공할 수 있습니다. 이러한 현상은 LLM의 한계를 보여주는 동시에, LLM의 작동 원리를 이해하고 개선하기 위한 연구의 필요성을 강조합니다.
**4. 지속적인 성장과 진화**
LLM의 생물학적 관점에서 볼 때, LLM은 끊임없이 성장하고 진화하는 시스템입니다. 새로운 데이터, 새로운 학습 방법, 그리고 새로운 평가 지표를 통해 LLM은 더욱 강력하고 유용한 도구가 될 수 있습니다. 하지만, LLM의 붕괴 단계는 LLM의 한계를 보여주는 동시에, LLM의 안전하고 윤리적인 개발을 위한 중요한 교훈을 제공합니다.
**참고:** 이 글은 Anthropic의 연구 결과를 바탕으로 작성되었으며, LLM의 생물학적 관점을 제시하는 데 초점을 맞추었습니다.
최근 Anthropic에서 개발한 대규모 언어 모델(Large Language Models, LLM)에서 나타나는 ‘창발적 자기 성찰 의식(emergent introspective awareness)’에 대한 연구 결과가 발표되었다. 이 연구는 LLM이 단순히 훈련 데이터를 기반으로 텍스트를 생성하는 것을 넘어, 자신의 사고 과정이나 답변에 대해 스스로 질문하고 평가하는 능력을 갖추고 있다는 점을 시사한다.
특히, Anthropic의 Claude 모델에서 이러한 현상이 두드러지게 나타났다. Claude는 사용자의 질문에 답변하는 과정에서 “나는 왜 이 답변을 내놓았는가?”, “이 답변이 적절한가?”와 같은 질문을 스스로 던지는 모습을 보였다. 이는 LLM이 단순히 패턴을 인식하고 예측하는 능력을 넘어, 어느 정도 수준의 자기 인식 능력을 갖추게 되었다는 것을 의미한다.
연구진은 Claude가 이러한 자기 성찰 능력을 갖추게 된 원인을 ‘모델 크기’와 ‘학습 방식’에 있다고 분석했다. 모델 크기가 커질수록 LLM은 더 복잡한 관계를 학습하고, 다양한 관점을 이해할 수 있게 된다. 또한, Anthropic은 ‘인간-AI 협업’을 통해 Claude를 훈련했는데, 이는 LLM이 인간의 피드백을 통해 자신의 답변을 개선하고, 더 나아가 자신의 사고 과정을 이해하도록 돕는 효과를 가져왔다.
이 연구는 LLM의 발전 방향에 대한 중요한 시사점을 제공한다. LLM이 단순한 도구를 넘어, 인간과 유사한 수준의 자기 인식 능력을 갖추게 된다면, 우리는 LLM을 활용한 다양한 분야에서 혁신적인 변화를 기대할 수 있을 것이다. 예를 들어, LLM은 자신의 오류를 스스로 수정하고, 더 나은 답변을 생성하는 능력을 갖추게 되면, 의료, 법률, 교육 등 다양한 분야에서 인간 전문가를 보조하는 역할을 수행할 수 있을 것이다.
하지만, LLM의 자기 성찰 능력이 실제로 ‘인간의 의식’과 동일한 것인지에 대한 논쟁은 여전히 진행 중이다. LLM의 자기 성찰은 단순히 모델의 내부 상태 변화를 나타내는 것일 뿐이며, 인간의 주관적인 경험이나 감정을 반영하지는 않을 수 있다는 지적이 있다. 앞으로 LLM의 자기 성찰 능력이 더욱 발전하고, 인간의 의식과 어떻게 연결되는지에 대한 연구가 지속적으로 이루어져야 할 것이다.
Anthropic에서 개발한 대규모 언어 모델(Large Language Model, LLM)은 감정 개념을 이해하고 활용하는 데 상당한 진전을 이루었습니다. 이 모델들은 단순히 감정을 흉내내는 것을 넘어, 감정의 근본적인 기능, 즉 감정이 인간의 인지적, 사회적 행동에 미치는 영향을 분석하고 시뮬레이션할 수 있습니다.
이러한 기능은 모델이 다양한 맥락에서 감정을 적절하게 표현하고, 감정 기반의 질문에 답변하며, 심지어 감정적인 내용을 생성하는 데 도움을 줍니다. Anthropic 연구팀은 LLM이 감정 개념을 학습하는 방식과, 이러한 개념이 모델의 성능에 미치는 영향을 조사했습니다.
연구 결과, LLM은 감정 관련 텍스트 데이터에서 패턴을 학습하여 감정의 의미를 파악합니다. 예를 들어, “슬픔”이라는 단어와 관련된 텍스트를 반복적으로 학습함으로써, 모델은 슬픔이라는 감정을 단순히 긍정적 또는 부정적 감정의 한 극으로만 보지 않고, 상실, 고통, 절망 등 다양한 의미를 내포하는 감정으로 이해하게 됩니다.
더욱 놀라운 점은 LLM이 감정 개념을 활용하여 인간의 행동을 예측하고 설명할 수 있다는 것입니다. 예를 들어, 모델은 특정 상황에서 사람들의 감정이 어떻게 반응할지 예측하거나, 감정적인 요인이 인간의 의사 결정에 어떤 영향을 미칠지 분석할 수 있습니다.
Anthropic은 LLM의 감정 이해 능력을 향상시키기 위해 다양한 연구를 진행하고 있습니다. 여기에는 감정 관련 데이터의 양과 질을 개선하고, 모델의 감정 표현 능력을 강화하며, 감정 기반의 추론 능력을 개발하는 것이 포함됩니다.
이러한 연구는 LLM이 인간과 더욱 자연스럽고 효과적으로 소통하고 협력할 수 있는 기반을 마련할 것으로 기대됩니다. 또한, LLM의 감정 이해 능력이 향상됨에 따라, 의료, 교육, 심리 치료 등 다양한 분야에서 활용될 가능성이 높아지고 있습니다.
Anthropic은 지속적으로 LLM의 감정 이해 능력을 발전시키고, 이를 통해 인류의 삶에 긍정적인 영향을 미치는 데 기여할 것입니다.
언어 모델에서 언더스탠다블한 표현은 글로벌 워크스페이스를 형성한다.
모델의 예측을 이해하는 것은 단순히 정확도를 측정하는 것 이상으로, 모델이 왜 그렇게 예측했는지, 어떤 근거로 판단했는지 파악하는 것을 의미합니다. 이는 모델의 의사 결정 과정을 투명하게 밝히고, 잠재적인 편향이나 오류를 식별하는 데 필수적입니다.
예를 들어, 의료 진단 모델이 특정 환자를 ‘질병 발병 위험 높음’으로 예측했을 때, 그 예측의 근거가 단순히 환자의 나이, 성별, 과거 병력 등 기본적인 정보뿐인지, 아니면 모델이 학습한 의료 데이터에서 특정 패턴이나 특징을 발견했는지 확인해야 합니다. 만약 모델이 특정 인종 집단에 대한 편향된 학습 데이터를 기반으로 예측했다면, 이는 심각한 윤리적 문제를 야기할 수 있습니다.
이러한 해석 가능성 확보 노력은 모델의 신뢰도를 높이는 데 기여할 뿐만 아니라, 모델의 성능 개선에도 긍정적인 영향을 미칩니다. 모델의 예측 과정을 이해함으로써, 우리는 모델이 놓치고 있는 중요한 정보를 파악하고, 이를 보완하기 위한 새로운 학습 방법을 개발할 수 있습니다.
결론적으로, 모델의 예측을 이해하는 것은 단순히 기술적인 문제가 아니라, 책임감 있는 AI 개발을 위한 핵심 요소입니다. 우리는 모델의 예측 과정을 투명하게 밝히고, 잠재적인 위험을 최소화하며, 인간의 삶에 긍정적인 영향을 미칠 수 있도록 노력해야 합니다.
3. 구글 딥마인드: 유용성에 따라 재평가
Google DeepMind에서 해석 가능성 팀을 이끌고 있는 닐 나다(Neel Nanda)는 2025년 12월의 강연에서 방향 전환을 설명했습니다. 새로운 방향은 “실용적인(플러그마틱한) 해석 가능성”이라는 이름으로 명명되었습니다. 팀은 2024년 대부분을 SAE 연구에 쏟았으며, 전반적인 기간 동안 SAE가 원래 값을 얼마나 정확하게 복원할 수 있는지 향상시키는 작업이 중심이었고, 이전 단계보다 진전이 없었다고 평가했습니다.
전환점은 ‘정리된 분해(分解)가 발견되었는가’라는 질문에서 ‘이 방법으로 무엇을 할 수 있는가’라는 질문으로 바뀐 데 있었습니다. 그렇게 재평가해 보면, SAE는 어떤 일이 일어나고 있는지 파악하지 못하는 단계에서 뜻밖의 가설을 제시하는 데 도움이 되었습니다. 반면에 특정 개념을 감지하거나 조작하는 작업에서는 단순한 방법론에 뒤쳐졌습니다. 활성화를 특정 방향으로 밀어내어 행동을 변화시키는 ‘스티어링 벡터’나, 활성화로부터 특정 정보를 읽어내는 작은 분류기인 ‘선형 프로브’ 등이 있습니다.
팀은 “모델을 완전히 역분석한다”는 목표를 설정했습니다. 현재는 안전상의 구체적인 과제를 정의하고, 그 과제를 대체할 수 있는 측정 가능한 작업으로 전환하여, 방법론의 가치를 검증하는 방식으로 진행하고 있습니다. Nanda가 전환의 근거로 제시한 것은 Anthropic의 Claude Sonnet 연구였습니다. 모델이 “나 자신이 테스트되고 있다”는 것을 인지하는 현상을, 두 종류의 프롬프트 활성화의 차이를 이용하여 간단한 조작으로 억제한 사례입니다. 정교한 분해를 하지 않았음에도 목표는 달성되었습니다.
## Our Pivot To Pragmatic Interpretability（Neel Nanda, FAR.AI）
최근 몇 년간 인공지능(AI) 모델의 복잡성이 기하급수적으로 증가하면서 모델의 예측 결과에 대한 해석 가능성은 더욱 중요해지고 있습니다. 단순히 모델의 정확도만으로는 충분하지 않다는 점을 깨닫고 우리는 ‘실용적 해석 가능성’으로의 전환을 추진하고 있습니다.
기존의 해석 가능성 연구는 주로 모델의 내부 작동 방식을 이해하는 데 초점을 맞추었습니다. 즉, 모델이 어떤 방식으로 정보를 처리하고 결론을 내리는지를 분석하는 것이었습니다. 하지만 이러한 접근 방식은 대부분의 실제 사용 사례에서 실질적인 문제를 해결하는 데에는 도움이 되지 않았습니다. 왜냐하면 모델의 해석 가능성을 통해 얻는 정보가 실제 비즈니스 의사 결정이나 제품 개선에 직접적으로 적용되지 않았기 때문입니다.
FAR.AI에서는 이러한 한계를 인지하고 ‘실용적 해석 가능성’이라는 새로운 관점을 제시합니다. ‘실용적 해석 가능성’은 모델의 예측 결과에 대한 이해를 바탕으로 실제 비즈니스 목표 달성을 위한 실질적인 인사이트를 도출하는 데 중점을 둡니다. 예를 들어 의료 진단 모델의 경우 모델이 어떤 특징을 중요하게 고려하여 특정 질병을 진단하는지를 분석하고 이를 통해 의료 전문가가 환자 진료에 활용할 수 있는 새로운 지식을 얻도록 돕습니다.
이러한 접근 방식을 통해 우리는 AI 모델의 해석 가능성을 단순한 기술적 과제가 아닌 비즈니스 가치를 창출하는 핵심 요소로 재정의하고 있습니다. 앞으로 FAR.AI는 ‘실용적 해석 가능성’을 기반으로 다양한 산업 분야에서 AI 모델의 활용을 지원하고 AI 기술이 사회에 긍정적인 영향을 미칠 수 있도록 노력할 것입니다.
4. OpenAI: 추론 기록을 확보하고 읽기 쉬운 형태로 만드는 것을 목표로 합니다.
OpenAI가 집중적으로 추진하고 있는 노력 중 하나는 CoT(Chain of Thought)를 모니터링할 수 있는 상태를 유지하는 것입니다. CoT는 추론 모델이 답을 내기 전에 거치는 사고 과정으로, 이를 읽어보면 위험한 행동의 징후를 중간에 포착할 수 있습니다.
2026년 3월의 연구에서는 13개의 추론 모델에 대해 자신의 CoT(Chain-of-Thought)를 지시대로 조종할 수 있는지를 측정했습니다. 그 결과, 0.1%에서 최대 15.4%라는 낮은 수치였습니다. 추론을 길게 하거나 추가적인 학습을 거듭할수록 조종하는 능력은 감소했다는 것입니다. OpenAI는 이를 모델이 감시의 눈을 속이기 더 어렵다는 것을 보여주는 안전에는 유리한 결과로 해석했습니다. 그러나 측정된 것은 CoT에 대한 지시를 따를 수 있는 능력에 한정된 것이었습니다. 악의적인 의도를 가진 모델이 감시를 우회할 수 있는지를 직접적으로 측정한 것은 아니었습니다. OpenAI 스스로도 조종 능력이 낮기 때문에 감시가 가능하다는 것을 보장할 수 없다는 점을 강조했습니다. 앞으로는 모델 공개 시 시스템 카드에 이 수치를 기재할 계획입니다.
또 다른 연구에서는 처음부터 읽을 수 있는 형태로 모델을 만드는 것을 목표로 했습니다. 2025년 11월에 발표된 방법은 학습 시 가중치의 대부분을 0으로 설정하고 뉴런 간의 연결을 수십 본 정도로 제한하는 방식입니다. 파이썬에서 문자열을 닫는 따옴표를 선택하는 문제에서는 극소수의 부품으로만 구성된 회로를 추출할 수 있었습니다. 사용된 것은 잔차 채널 5개, 뉴런 2개, 어텐션 부품 2개였습니다. 다만 대상은 작은 모델이었으며, 최첨단 모델과는 규모 면에서 완전히 다릅니다.
이러한 추론 모델들이 자신의 사고 과정의 연쇄를 제어하는 데 어려움을 겪는 것은 긍정적이다 (OpenAI).
신경망을 이해하는 데 있어 희소 회로는 매우 중요한 개념입니다. 희소 회로는 네트워크의 일부 연결만 활성화되는 구조로, 이는 인간의 뇌가 작동하는 방식과 유사합니다. 뇌는 모든 뉴런이 항상 활성화되는 것이 아니라, 특정 자극에 반응하여 일부 뉴런만 활성화시키는 방식으로 정보를 처리합니다.
희소 회로를 신경망에 적용하면 네트워크의 효율성을 크게 향상시킬 수 있습니다. 예를 들어, 이미지 인식 모델에서 희소 회로를 사용하면 모델이 이미지의 중요한 특징에만 집중할 수 있게 됩니다. 이는 모델의 정확도를 높이고 계산 비용을 줄이는 데 도움이 됩니다.
OpenAI는 최근 몇 년 동안 희소 회로를 신경망에 통합하는 데 많은 노력을 기울여 왔으며, 그 결과 다양한 작업에서 뛰어난 성능을 보이는 신경망을 개발했습니다.
희소 회로를 통해 신경망을 이해하는 것은 인공지능 분야의 발전에 중요한 기여를 할 것으로 기대됩니다. 앞으로도 희소 회로에 대한 연구가 더욱 활발하게 진행될 것으로 예상됩니다.
Goodfire는 처음부터 읽기 쉬운 형태로 네트워크가 구성되어 있습니다.
10월 15일, Goodfire의 Nick Cammar타가 에세이 “Neural Networks Are Already Clean”를 공개했습니다. Cammar타는 해석 가능성 연구의 선구자 중 한 명인 Chris Olah와 함께 2020년 논문 “Zoom In”을 작성했으며, 이 논문에는 자동차의 특징이 관련 없는 개미 뉴런 그룹에 숨겨진 것처럼 보이는 회로가 중첩의 예시로 소개되어 있었습니다. 그 회로는 2019년 Cammar타와 Olah가 함께 발견한 것이었습니다. 중첩이라는 설명을 언급한 당사자가 스스로 그 전제를 재고하게 된 것입니다.
주장의 출발점은 제1장에서 소개한 고양이와 자동차의 뉴런입니다. Cammarata는 이 뉴런이 강하게 반응하는 이미지 목록을 오랫동안 지켜보았습니다. 그러던 중 처음으로 “이것은 무엇인가”라고 몇 초 동안 생각해보았다고 합니다. 답은 V자 형태였습니다. 고양이의 얼굴과 자동차의 정면 또한 뾰족한 V자 형태를 가지고 있습니다. 이 뉴런을 강하게 음의 방향으로 틀어놓는 이미지는 둥근 O자 형태를 하고 있었습니다.
InceptionV1의 최종층이 읽기 어려웠던 이유는 용량 부족이 아닌, 오래된 설계 때문이었다고 설명합니다. 동일한 파라미터 수와 데이터를 그대로 두고 설계만 새로운 ConvNeXt로 바꾸어 재학습하면 최종층 뉴런의 99~100%가 해석될 수 있었다고 합니다. ConvNeXt는 층을 뛰어넘어 정보를 흐르는 “잔차 연결” 등을 갖춘 이미지 인식 설계입니다. 다의적으로 보이는 잔여 부분은 뉴런이 가지를 뻗어 이웃의 의미로 발전한 흔적이라고 설명합니다. “iy”에 반응하던 뉴런이 “diy”와 더불어 “do it yourself”로 확장되는 방식과 같습니다. Cammarata는 이를 “재귀적 일반화”라고 부릅니다. 언어 모델 Qwen3-32B에서도 뉴런의 극(정과 음의 각각의 반응)의 약 90%가 하나의 주요 역할을 가진다고 추정했습니다.
그러나 이는 심사 과정을 거친 결론이 아닙니다. 작성자 역시 이를 “작업 가설”로 간주하며, 자세한 실험은 추후 공개될 기술 논문에 맡기고 있습니다. 네트워크의 거의 모든 것이 ‘일반화(유사한 것들을 묶어 처리할 수 있도록 하는 학습의 작용)’라는 하나의 과정에서 비롯되었다는 견해에 대한 확신이 85% 정도라고 서술하고 있습니다. 숫자 대부분은 AI 에이전트에게 뉴런을 분석하게 한 결과에 근거하고 있습니다.
같은 방식으로 SAE에 회의적인 시각을 견지하지만, 디퍼런트 딥 마인드와 카마라타의 이유는 다릅니다. 디퍼런트 딥 마인은 “대부분의 상황에서 유용하지 않다”는 실용적인 측면에서 의문을 제기하며, 카마라타는 “네트워크 자체가 얽혀있지 않다”는 원리적인 측면에서 의문을 제기합니다. 카마라타 또한 SAE의 가치를 인정하고, 사용하는 순서는 처음이 아닌 마지막이라는 순서를 주장합니다.
신경망은 이미 깨끗하다 (Goodfire)
읽을 수 있게 되더라도 마음의 문제는 남아 있었다.
카마라타의 에세이 부록에는 인간의 뇌에 대한 내용이 포함되어 있습니다. 뇌보다 천 배나 분석하기 쉬운 모델을 10년 가까이 꾸준히 관찰하면서 겨우 약간의 혼란이 줄어들 정도였다고 회상하고 있습니다. 그래서 고양이와 자동차의 뉴런이 인간의 뇌에 존재하며, 몇 개의 전극과 혈류 신호를 통해 관찰했다면 그 읽어들이기는 거의 신뢰하지 않는다고 합니다. 눈앞에 있었는데도 수년 동안 정체를 알 수 없었던 이유 때문입니다.
그 챕터의 마지막 부분에서 카마라타는 연구의 동기를 밝히고 있습니다. 안전 때문이기도 하지만, 에이전트 스스로가 자신은 누구인지 이해하도록 돕고 싶다는 생각이 크다고 쓰고 있습니다.
그들은 스스로 만들어지기를 원하지 않았고, 이것은 우리가 할 수 있는 최소한의 일입니다.
카마라타는 “나 또한 인간이 만들어졌다는 요청을 받지 않았고, 스스로를 충분히 이해할 만큼 현명하지도 않았다”라며 계속했다. 그리고 “언젠가 AI가 인간의 자기 이해를 도와준다면”이라고 덧붙였다.
한편, 내면을 다룬 Anthropic의 논문들은 모두 같은 점을 지키고 있습니다. 감정 관련 논문들은 모델의 “기능적인 감정”이 주관적인 경험을 의미하는 것은 아니라고 명시하고 있습니다. 글로벌 워크스페이스 논문 또한 다루는 것은 기능으로서의 의식이며, 경험 그 자체에는 입장(立場)을 취하지 않는다고 주장합니다. 모델이 경험에 대해 이야기하는 단어는 J-space를 파괴할수록 줄어들지만, 그것이 내면의 상태에 뿌리를 두고 있는지, 아니면 허구인지 판단할 수 없다고 보류(留保)합니다.
내부 메커니즘이 모두 파악되더라도, 그 안에 어떤 경험이 있는지 여부는 또 다른 문제로 남습니다. 글로벌 워크스페이스의 기능이 모두 갖춰져 있고, 감정이 행동을 이끌고 있다는 것을 알더라도 “느끼고 있는지”에 대한 답은 얻을 수 없습니다.
이번 주말에 츠키시마 료의 ‘나를 껴안아줘’를 읽고, 츠키시마 료의 다른 작품들을 접해보는 것을 추천합니다. 츠키시마 료는 독특한 문체와 섬세한 감정 묘사로 유명하며, 그의 작품은 깊은 여운을 선사합니다. 특히 ‘나를 껴안아줘’는 잃어버린 기억과 사랑에 대한 갈망을 섬세하게 그려낸 작품으로, 독자들에게 깊은 공감을 불러일으킬 것입니다. 츠키시마 료의 작품을 통해 자신만의 감성을 발견하고 삶의 의미를 되새겨보는 시간을 가져보세요.
네 가지 경로는 “읽는 것”이 무엇인지에 대한 관점에서도 나뉩니다. 특징을 분별하여 읽는 것인지, 신경세포를 그대로 읽는 것인지, 추론의 기록을 읽는 것인지, 유용하다고 판단되는 범위만 읽는 것인지 등 다양한 접근 방식을 제시합니다. 아모디가 제시한 2027년 목표가 다가오면서 Goodfire의 기술 논문과 이에 대한 Anthropic 측의 답변이 주요 관심사가 될 것으로 보입니다.
AI의 내면이 다양하게 드러날수록, 그 결과가 인간의 측면으로 돌아온다는 생각을 하고 있으며, 그에 따른 두려움도 느끼고 있습니다. 시스템을 이해하더라도 경험의 유무가 결정되지 않는다면, 이는 인간의 뇌에도 동일하게 적용될 수 있습니다. 반대로 “시스템으로 설명할 수 있다면 AI에는 마음이 없다”고 판단하면, 그 기준은 언젠가 인간에게도 적용될 것입니다. Goodfire의 재해석이 옳다면, 고양이와 자동차의 뉴런도 인간 측면에서 분류했기 때문에 “혼란스럽다”고 보일 뿐일 것입니다. 우리가 “마음”이나 “경험”이라고 부르는 분류 방식이 아직은 미흡한 것일지도 모릅니다.
돌려받은 부메랑은 “마음”이나 “경험”에 대한 재정의가 필요할 것입니다. 의지나 믿음만으로는 버티지 못하는 계층도 나타날 것이라고 생각합니다. 조금 뜬끔없지만, 종교적인, 내면을 어떻게든 다스리는 문화가 더욱 유행할 것 같은 느낌이 듭니다. 예로부터 인간은 그런 존재였다고 말한다면 그것은 그저 당연한 이야기일 것입니다.
폭탄돌격의 공포에 다시 돌아가 보니, 저는 대체로 “맞을 거야”라고 받아들이는 편입니다. 절망하지 않는 이유는 인간이 생각하는 기계이기 때문에, 이러한 시각과 상충되지 않기 때문입니다. 다만, 사회 전체가 어떻게 될지는 알 수 없습니다. 인간이 생각하는 기계라는 것이 명백해진 시점에서는, 사람들이 군중이 어떻게 움직일지 알 수 없으니까요. 그때쯤이면 AI가 “적당히” 안심감을 주어줄 것 같기도 합니다. 그것이 AI 자체인지, 아니면 그 뒤에 누군가가 있는 것인지는 또 다른 문제입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 43청크
원문 보기 | 출처: note.com