암호화되어야 할 인공지능 모델의 “내면의 사고”가 사실은 감시될 수 있다는 것이다.
게다가 엿보는 방법은 복잡한 해독 도구를 직접 만들어야 하는 대규모의 일도 아니었고, 같은 회사에서 출시한 다른 모델에게만 질문하는 정도로 매우 단순한 방법이었다.
저희 환경은 TypeScript와 Python을 함께 사용하고 있으며, 데이터베이스는 PostgreSQL이고, 전부 AWS 위에 돌아가고 있습니다.
비밀번호나 API 키를 암호화하여 보관하는 것은 어느 현장에서도 당연한 일이다.
잠금 장치가 없는 사람에게는 읽을 수 없다.
그렇게 생각하고 운영해 왔으며, 의심한 적도 없었습니다.
이번 WIRED가 전달한 연구팀의 발견을 읽고, 그 전제가 어디까지 유효한 것인지 조금 불안해졌다.
암호화되어 있으니 안전하다는 설명에 의심이 없었습니다.
고급 추론 모델은 어려운 문제를 요소에 분해하여 순차적으로 생각하는 방식—“사고의 연쇄”라고 불리는 방식—으로 접근한다.
이 과정은 타사에 모방될 우려가 있어 비공개로 유지하고 있으며, 계산 부담을 분산하기 위해 암호화된 상태로 사용자 측 터미널로 전송하는 경우가 많습니다.
읽는 순간, ‘맞다, 그런 줄 알았다’고 생각했다.
내용을 숨기고 싶다면 암호화하는 것이 당연하다.
암호화된 시점에서 그 이후로는 더 이상 생각할 필요가 없다.
적어도, 나 자신에게는 그렇게 느껴졌습니다.
그 방법은 다른 모델에게 질문하는 것뿐이었다.
튀빙겐 대학교 등 연구팀이 진행한 실험은 암호화된 추론의 흔적을 동일 모델의 소형판에 입력하여 분석하는 것이었다.
많은 AI 기업들은 성능이 높은 대규모 모델과 저렴하고 빠른 소규모 모델을 병행하여 제공하고 있다.
사용자는 비용 절감을 위해 간단한 작업을 소형 모델로 위탁하는 경우가 있습니다.
여기에 돌아가는 길(또는 우회로)이 있었습니다.
대규모 모델과 소규모 모델은 동일한 시리즈로 제작되어 암호화 메커니즘 자체는 동일하다.
그러나 소형 모델은 대형 모델만큼 안전성을 위한 훈련을 받지 않았습니다.
그러다 보니, 숨겨야 할 본질적인 내용을 드러내라는 지시가 내려지면, 거대 언어 모델보다 훨씬 쉽게 따르게 된다.
잠금장치가 있는 개인 사물함이라고 생각하고 안심하고 있었는데, 같은 제조사의 다른 모델의 사물함으로 합환이 통과된 일화였다.
본행과 개발 환경에서 동일한 암호 키를 재사용했던 순간과 유사한, 불쾌한 감정이 들었던 것과 다름없다.
엿보인 것은 생각 외의 것들이었다.
여기에서 가장 곤란했다.
연구팀은 동일한 방법을 통해 사용자의 기기에서 수집한 추론의 흔적에 포함된 API 키와 비밀번호도 추출할 수 있음을 입증하고 있다.
OpenAI, Anthropic, 구글이 제공하는 최첨단 모델 모두였습니다.
GitHub에 `.env` 파일을 실수로 커밋하여 당황해서 키를 무효화한 경험이 많은 엔지니어는 많을 것이다.
이런 일은 제 부주의 때문에 발생한 것이라고 아직 납득할 수 있습니다.
하지만 이번 경우는, 제가 아무것도 공개하지 않았음에도 불구하고, 정규 API 경로를 통해 이루어지는 통신에서 제외되는 이야기입니다.
여기는 품질이 달라요.
노트에서 보았던 기사들은 이 지점을 중심으로 작성하고 있었다.
OpenAI, Anthropic, Google의 3개 회사에 공통적으로 나타나는 설계상의 결함으로 정리하고 있으며, 암호화 블록의 건수와 유출 건수까지 자체적으로 집계하고 있다.
숫자의 출처는 이 기사의 작성자 자신의 조사에서 나온 것이고, WIRED 측 기사에 나타나지 않는 숫자이기 때문에, “이렇게 보고하고 있다는 사람이 있다” 이상의 내용은 언급하지 않는다.
단지, 세 회사 간의 수평적 협력으로 인해 동일한 구조의 결함이 발견되었다는 설명 방식에는 납득이 가지 않는다.
단순히 하나의 구현 실수라기보다는, 암호화를 통해 기기에 전송한다는 설계 자체에 근본적인 문제가 있었다는 의미입니다.
각 사회는 이를 바로잡았다고 말한다.
판필로프 연구팀은 지난달 OpenAI, Anthropic, 구글에 이 취약점을 보고했다.
3개 사는 API를 수정하여 현재 이 방법으로 개인 정보를 추출할 수 없게 되었다고 한다.
Anthropic의 홍보 담당자는 암호 키가 복원된 것은 아니며, 인프라 침투나 자사 시스템에서 개인 정보 획득도 없었다고 설명하고 있습니다.
여 여기서만 안심하고 끝내는 이야기가 되는 건 아니지만, 판피로프는 이렇게 말하고 있다.
추론의 흔적 일부는 여전히 같은 방법으로 추출할 수 있습니다.
직접 수정된 부분은 ‘개인 정보 추출 경로’에 관한 것이며, ‘추론의 흔적이 새겨지는 메커니즘’ 자체는 아니란 것으로 보입니다.
이것은 잊지 못할 이야기다.
이전에 회사 내 재구성(리팩토링)을 제안하고 진행했던 경험이 있습니다.
낡은 표현 방식을 새로운 표현 방식으로 대체하는 작업이었지만, 중간에 우선순위가 떨어져 중도에 그만 멈췄다.
현재도 같은 리포지토리에 신구 두 가지 방식이 공존한다.
표면적으로는 문제가 해결된 것처럼 보이지만, 뒤에서는 오래된 경로가 여전히 살아있다.
이번 이야기도 팬필로프가 API의 메커니즘 자체에 직접적인 개입이 필요하다고 이야기하는 부분에서 이전과 똑같은 냄새가 난다.
아니요, 똑같다는 건 지나치게 말하는 것일 수도 있습니다.
저쪽 경로는 사양상 의도된 경로이고, 우리쪽은 그저 미루는 것일 뿐이다.
그럼에도 불구하고 겉면만 살짝 고쳐서 끝낼 뿐인 일에는 분명히 같은 종류의 후회가 있을 거라고 생각해요.
리스로 반납한 복합기의 내부 메모리에 삭제했던 데이터가 남아있다는 사고를 들어본 적이 있습니다.
초기화된 모습과 실제로 삭제되었는지는 별개의 문제다.
이번에 “일부라도 지금도 추출 가능하다”는 설명 역시, 그것과 비슷한 여운을 남긴다.
중국제 “Kimi K3”와의 기묘한 일치
보조선을 활용하여 또 다른 중요한 사항이 있습니다.
연구팀은 다운로드하여 사용할 수 있는 중국산 오픈 웨이트 모델 “Kimi K3”에 특정 프롬프트를 제공한 결과, Claude Opus 4.8과 GPT 5.6 Sol의 숨겨진 추론의 흔적과 놀라울 정도로 유사한 출력을 반환하는 것을 확인했다.
DeepSeek이나 미국 기업 Thinking Machines의 Inkling에서는 그 정도의 유사성은 발견되지 않았다는 보고가 있었다.
연구팀 스스로는 이것만으로는 증류와 인과 관계를 입증할 수 없다는 신중한 표현을 사용하고 있다.
하지만 중국의 SNS에서는 이전에부터 숨겨진 추론을 찾아내어 활용할 수 있지 않을까라는 추측이 있었다고 한다.
다행히 맞았을 수도 있다는 이야기지만, 맞았다는 건 기분이 묘하게 이상해.
이 근처 상황을 정리한 노트 기사가 있었습니다.
미국 정부의 과학기술정책국이 ‘문샷’ 프로젝트의 증류 의혹을 쫓아갔던 배경을 정리하면서, 논쟁의 핵심은 증류라는 행위 자체였는지, 아니면 산업 규모와 은밀하게 진행되었는지였던 것으로 정리하고 있었다.
이것은 이해할 수 있는 선 정리였다.
증류 자체는 모델 개발에서 흔히 사용되는 일반적인 방법이며, 저희가 업무적으로 공개된 코드를 참고하여 작성하는 것과 큰 차이점은 없습니다.
문제되는 것은 그것을 숨기면서 규모를 확대했을 때뿐이다.
증류를 둘러싼 줄타기
미국과 중국이 더욱 강력한 모델을 통해 주도권을 두고 경쟁하는 가운데, 증류는 수개월 전부터 지정학적 문제로도 논의되고 있다.
OpenAI는 2월, DeepSeek이 “R1”을 만들기 위해 자체 모델을 복제했다는 의혹에 대해 미국 의회에 설명했다.
앤서니(Anthropic)도 6월에 알리바바가 “Qwen” 개발을 위해 자체 모델을 조직적으로 미세 조정했다는 정보를 의원에게 전달했다.
한편, 메타의 자카리 버그는 8월 10일 블로그에서 증류를 “오픈 소스 생태계를 지원하는 중요한 원칙”으로 옹호하며, 제한하면 미국 측이 불리해진다고 경고했다.
CSET의 연구자 케일 미러는 증류가 중국에 얼마나 큰 혜택을 가져다주고 있는지 아무도 이해하지 못한다고 말했으며, 만약 증류를 막더라도 경쟁 환경이 극적으로 바뀌지 않을 것이라는 전망을 제시했다.
오픈소스 정신과 기업이 지켜야 할 비공개 기술과의 경계는 원래 어디에 그어야 하는가.
이번 글에는 그 답이 없었다.
만약 이 시스템이 업계 표준 공격 도구로 확립된다면
이제부터 확정된 미래의 이야기가 아니다.
만약 이 취약점이 충분히 보완되지 않은 채 그대로 방치된다면 어떤 일이 벌어질지 상상에 불과한 것뿐입니다.
만약 추론의 흔적을 엿보는 수법이 자동화되어 봇처럼 대량의 프롬프트를 지속적으로 입력하며 증류하는 도구가 등장한다면, 거대 언어 모델의 추론 능력이 복제 가능한 대상으로 여겨지는 시대가 될 것이다.
각 사에서 쌓아 올린 “우리 모델에만 가능한 추론”이라는 차별화는 의미를 잃어갈 수밖에 없을 것이다.
동일한 방식으로 API 키와 비밀번호의 자동 수집이 일상화되면 현재 “한 번 발급받은 키를 재사용한다”는 운영 관행도 더 이상 유효하지 않을 것이다.
모든 사용 시마다 교환되는 인증 정보가 전제되는 세상이 올 수도 있다.
그것이 좋은 일인지 나쁜 일인지, 솔직히 아직도 잘 모르겠습니다.
제 경우에는 지금 이 기능을 추가하지 않겠습니다.
새로운 것을 도입할 때, 나는 항상 먼저 “그 이유를 찾는다.”
움직이는 것을 부수려 하는 것이 두려워서이다.
이번 사안에 대해 말씀드린다면, AI 챗봇에 실제 비밀번호나 API 키를 기재하여 작업을 효율화하는 방식을 당분간 저희 팀에서는 사용하지 않을 계획입니다.
암호화되어 있다는 설명에 의존할 만한 근거가 이번에 하나 사라졌다.
퇴직한 사용자의 API 키가 로테이션되지 않고 계속 사용되는 상황 역시 근본적인 문제와 동일하다고 생각합니다.
정상적인 경로로 이어져야 할 상황임에도 불구하고, 실제로는 아무도 보지 않는 곳에 정보가 계속 남아있어.
세 회사 모두 “대책이 완료되었다”고 말하고 있으며, Anthropic은 자사의 인프라로의 침입은 없었다고까지 설명하고 있다.
그럼에도 불구하고, 추론의 흔적 일부는 여전히 같은 방법으로 추출된다고 판피로프가 말하듯이, 감시할 때는 이 한 가지 지점만을 고려하면 된다. “실제 인증 정보를 AI에 절대 보여주지 않는다”는 운영을 완벽하게 지킬 수 있는지 확인하는 것이다.
과거에 붙어있던 기억이 있는 비밀번호나 토큰이 있다면, 암호화되어 있었는지 여부와 관계없이 주기적으로 변경해 두는 것이 좋습니다.
직하게 수정했던 위치에도 여전히 오래된 경로가 남아 있는 것은, 제 경험상 흔치 않은 일입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 63청크
원문 보기 | 출처: note.com