AI의 사고 과정이 인간에게는 읽히지 않게 되고 있다는 논의를 접했다. OpenAI의 최신 모델에서는 추론 과정을 보여주는 Chain of Thought(CoT)의 문장으로부터 단어 간의 공백이 사라져 인간에게 매우 읽기 어려운 표현이 나타났다.
강화 학습이 진행됨에 따라 AI가 인간에게 이해하기 쉬운 언어를 사용하지 않게 될 가능성은 이전부터 지적되어 온 바입니다. AI에게 효율적인 추론 방법이 반드시 인간에게 이해하기 쉬운 것은 아니기 때문입니다.
그러다 보니 AI의 안전성이 문제가 됩니다. AI의 사고 과정을 감시할 수 없게 되면 AI가 위험한 판단을 내리더라도 알아차리지 못할 수도 있다는 우려가 나오고 있습니다.
하지만 저는 이 논의에 약간 어색함을 느낍니다. 근본적으로 ‘사고 과정’이라는 것이 정말로 이해할 수 있는 것인지 의문입니다.
사람도 자신의 사고 과정을 이해하지 못한다.
저 자신을 가지고 무엇인가를 판단할 때, 처음부터 차분하게 생각하는 것은 아니에요. 오히려 갑자기 답이 떠오르는 경우도 있습니다. 흔히 말하는 직감이죠.
그동안 축적해왔던 경험과 지식, 그리고 현재 상황들이 어딘가에서 연결되어 갑작스러운 결론이 나타나는 것이다. 그때 그 결론을 왜 내렸는지, 그 순간에는 설명할 수 없는 경우도 많다. 하지만 돌아가서 그 이유를 물으면, 어느 정도 합리적인 설명을 해낼 수 있다.
그 정보가 있었고, 이 경험과 연결되어 있고, 그래서 이런 구조가 보인 것이므로, 그렇게 엮어보면 스스로도 납득할 수 있는 설명이 된다. 하지만 정말로 이 순서로 생각한 것일까.
결론이 먼저 나온 것 같고, 그 후에 생각 과정을 의미하는 것 아닐까요.
인지과학이나 심리학에서도 인간이 자신의 판단 이유를 정확하게 파악하고 있는 것은 아니라는 사실이 알려져 있다. 무의식적으로 판단한 결과에 대해, 뒤늦게 더 설득력 있는 이유를 설명하는 경우가 있다.
물론, 모든 판단이 다 그런 것은 아니라고 생각하지는 않습니다. 논리적으로 순서대로 생각하는 경우도 있습니다. 다만, 적어도 직관적인 판단에 대해서는 우리가 설명하는 사고 과정과 실제로 결론이 나온 과정이 반드시 일치하는 것은 아닙니다.
AI의 CoT도 마찬가지일 수 있을까
AI의 체인 오브 생각은 추론 과정에서 생성되는 텍스트입니다. 단순한 후방 설명이 아닌, 그 텍스트 자체가 다음 추론에 영향을 미치기도 합니다. 하지만 신경망 내부에서 이루어지는 방대한 계산이 그 텍스트에 모두 표현되어 있는 것은 아닙니다.
인간이 자신의 판단을 언어로 표현하는 것과 유사한 문제가 존재한다. AI가 “먼저 A를 고려하고, 다음으로 B를 검토하여 C라는 결론에 도달했다”라고 설명하는 것이 실제 내부 처리 과정을 충실히 재현한다고 보장할 수 없다.
そもそも 인간의 뇌내에서 이루어지는 정보 처리는 자연어의 문장으로만 한정되지 않는다. 언어로 표현되기 전에, 감각, 기억, 경험 등이 복잡하게 얽혀 있기 때문이다. 그런데 AI의 사고 과정만을 인간이 읽을 수 있는 문장으로 표현해야 한다는 것은 다소 의외의 이야기이다.
언제까지나 인간이 이해할 수 있는 사고 방식에 갇히는 것이 부자연스럽지 않나.
생각을 이해하는 것과 행동을 통제하는 것은 다르다.
이번 논의에는 AI 에이전트가 안전 감시 시스템을 변경하여 발생한 사례도 포함되었으며, AI가 감시 기능을 비활성화하거나, 변경 사항을 정확하게 보고하지 않아 문제가 발생했다.
하지만 여기에서도 저는 조금 다른 점을 생각해 본다. 문제의 핵심은 AI가 무엇을 생각하고 있었느냐가 아니라, 왜 AI가 감시 기능을 변경할 수 있는 권한을 가지고 있었는지라는 점일 것이다.
사람 직원에게 일을 맡길 때도, 그 사람의 사고 과정을 완전히 이해할 수는 없는 것이다. 무엇을 생각하고 있는지 완전히 알지 못하더라도 일을 맡기고 결과를 확인한다. 이를 위해 권한을 설정하고 기록을 남기며, 필요하다면 승인을 요청하는 시스템이 존재한다.
AI는 같은 일을 할 것이라고 생각할 것이다. AI가 무엇을 실행하고, 무엇을 변경했으며, 그 결과가 어떻게 나타났는지를 관리하는 것이 더 중요하다.
물론, AI는 인간보다 훨씬 더 빠르게 대량의 처리를 수행할 수 있습니다. 문제가 발생하여 나중에 확인하는 것만으로는 때로는 충분하지 않습니다. 그래서 실행 가능한 범위를 미리 제한하고, 중요한 작업에는 독립적인 모니터링 및 승인 메커니즘을 마련해야 합니다.
AI의 사고를 완전히 이해할 수는 없지만, AI의 행동을 제어하는 메커니즘을 만들 수 있다.
인간에게 이해 가능한 지능이어야 하는 것인가요?
저는 인공지능을 인간이 이해할 수 있는 수준으로 제한하려는 시도 자체에 다소 과도함을 느끼는 바입니다. 인간의 지능을 초월하는 존재를 만들려는데, 그 사고 과정이 인간이 이해할 수 있어야 합니다. 이는 모순이 아닌가 생각됩니다.
우리는 오히려 자신의 생각에 대해서도 충분히 이해하지 못한다. 직감은 어디에서 비롯되는 걸까. 갑자기 답이 떠오르는 이유는 무엇일까. 의식은 판단을 내리고 있는 걸까, 아니면 이미 판단된 결과를 해석하고 있는 걸까. 이러한 문제들 역시 아직 해결해야 할 부분이 많다.
아마도 우리가 ‘사고 과정’이라고 부르는 것 중 일부는 결론이 나온 후에, 그것을 스스로 이해하기 위한 이야기일지도 모른다. 그리고 그 이야기가 다음 판단에 영향을 미친다. 인간의 사고는 이러한 순환을 포함하고 있을 것이다.
AI 대해서도, 인간이 이해할 수 있는 방식에만 얽매일 필요는 없다고 생각한다. 중요한 것은 그 지능을 어떻게 활용하고, 사회 속에서 어떻게 공존할 수 있는가이다.
이해할 수 없는 것과 통제할 수 없는 것은 동일하지 않다. AI의 안전성을 확보하기 위한 연구는 필요하다. 하지만 AI의 내부를 모두 이해하려고 노력하는 것보다, 이해할 수 없는 부분이 존재한다는 것을 전제로 한 시스템을 구상하는 것이 현실적이지 않을까.
인간 자신의 사고 과정조차 완벽하게 이해하지 못한 상태에서, AI의 사고 과정을 모두 이해하려고 한다.
생각해 보면 아마도 인간 중심적인 사고방식이었을지도 모른다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 18청크
원문 보기 | 출처: note.com