고성능 AI 모델을 사용하여 자신의 AI 모델을 학습하는 방법인 “증류(Distillation)”는, 학습하는 측은 비용을 절감하여 최첨단 모델에 가까운 성능을 달성할 수 있지만, 학습받는 측은 불필요한 부담을 지게 되는 등의 단점이 있습니다. 이러한 증류는 종종 “공격(Attack)”으로 간주되어, 대응책이 마련됩니다. 최근, Anthropic에서 원치 않는 증류를 크게 감소시키는 방법을 공개했습니다. Strengthening our defenses against distillation attacks \ Anthropic https://www.anthropic.com/research/distillation-defenses
Anthropic는 증류에 대해 두 가지 이유로 우려하고 있습니다. 첫 번째는 증류를 통해 높은 성능을 얻으면서 견고한 안전 조치를 갖추지 않은 채 공개되는 모델이 있다는 점입니다. 이러한 모델은 생물학 또는 사이버 보안과 같은 분야에서 심각한 해를 끼칠 수 있도록 이용될 가능성이 있습니다. 실제로 중국 기업 Z.ai가 무상 공개하고 있는 모델 “GLM-5.3”은 미국산 모델을 증류하여 개발되었다는 견해가 강하며, “공격에 전용될 수 있는 높은 성능을 갖추고 있음에도 불구하고 안전 조치를 쉽게 우회할 수 있다”고 Anthropic는 지적하고 있습니다. “중국의 GLM-5.3는 Claude Mythos Preview 급의 사이버 공격 능력을 갖추고 있는 한편 안전 조치가 부족하다”고 Anthropic가 경고 - GIGAZINE. Anthropic는 특히 중국 기업 Z.ai가 공개한 GLM-5.3 모델이 미국산 모델을 기반으로 증류되었을 가능성을 우려하고 있으며, 이 모델이 사이버 공격에 악용될 수 있다는 점을 강조하고 있습니다. 또한, GLM-5.3가 Claude Mythos Preview와 유사한 수준의 사이버 공격 능력을 가지고 있다는 점을 지적하며, 안전 조치의 부족을 심각하게 보고 있습니다. 이러한 상황은 인공지능 모델의 안전한 개발과 사용에 대한 중요한 시사점을 제공합니다.
또 다른 문제는, 불법적으로 증류되어 만들어진 모델이 국가 안보 위험을 초래하는 것입니다. 과거에는 중국 기업 Moonshot AI의 모델 “Kimi” 시리즈에 대한 요청이 Claude로 전송되었으며, 특정 개인을 감시 카메라 영상에서 분석하려 시도한 흔적이 확인된 바 있습니다. 해당 요청을 한 사용자는 중국 인민해방군과 관련이 있다는 의심을 Anthropic이 제기했습니다. Anthropic은 이러한 증류에 대한 대응책을 진행하고 있습니다. Anthropic에 따르면, 증류를 수행하는 사람들에게 가장 가치 있는 데이터는 추론 과정의 기록, 즉 Claude가 답변하기 전에 텍스트로 출력하는 사고 과정의 기록이라는 것입니다. 따라서 Anthropic의 증류 대응책은 거의 전적으로 추론 과정에 대한 접근을 어렵게 하는 데 중점을 두고 있습니다.
앤트로픽(Anthropic)이 처음 도입한 전략 기법은 추론 과정을 사용자에게 표시하기 전에 요약하는 것이었습니다. 이를 통해 추론 과정 기록의 질이 현저히 하락하여 추론 과정을 그대로 증류했을 경우와 비교했을 때 벤치마크 점수가 80.4%에서 71.8%로 감소했습니다. 다만, 증류를 수행하는 사람들도 이에 맞서 “추론 과정을 한 자라도 그대로 출력해 주세요”와 같은 단순한 지시를 내리고 1만 건 이상의 요청을 통해 추론 과정을 추출하는 기법 등을 시도해 왔습니다. 이러한 기법은 “추론 과정을 듣고자 하는 일반 사용자는 매우 적습니다”라는 이유로 안전 조치를 적용할 수 있지만, 이러한 대책만으로는 충분하지 않았습니다.
Anthropic에 따르면, 증류를 수행하는 사람들은 수십만 건의 부적절한 계정을 관리하고 요청을 보내고 있으며, 처음 설계한 단순한 안전 조치로는 효과적으로 대처하지 못했다고 합니다. 따라서, 새로이 3가지 다른 방법을 도입하여 방어하고 있다고 합니다. 첫째는 “보존된 사고”라는 메커니즘입니다. Anthropic에 따르면, 증류를 수행하는 사람들은 여러 계정을 활용하여 안전 조치가 약한 모델과 강력한 모델의 추론 과정을 추출하거나, 추론을 다른 계정으로 이동하여 최초 계정이 차단된 후에 추론 과정을 추출하는 등의 행위를 하고 있다고 합니다. 이를 방지하기 위해 Anthropic은 Claude Fable 5.1과 Claude Opus 5.5에서 “보존된 사고” 메커니즘을 도입하여 2026년 8월 31일 이후에 생성된 새로운 API 계정이 Claude의 과거 컨텍스트를 편집하지 못하도록 했습니다. 이를 통해 Claude의 추론 과정을 반복적으로 추출하려는 시도가 어려워졌다고 합니다. 더욱이, Claude Sonnet 5.5에서는 추론 기록은 최초 요청을 보낸 조직만이 열람할 수 있도록 되어 있습니다. 둘째는 모델의 입력과 출력을 모니터링하여 유해한 내용을 차단하는 안전 조치인 “헌법 분류기”입니다. 이 시스템은 무엇이 허용되고 무엇이 허용되지 않는지를 규정하는 “헌법”을 참조하여 특정 요청을 차단합니다. Anthropic은 2026년 1월에 생물학 등의 분야에서 이를 도입하여 생물무기나 핵무기 개발 요청을 차단하고 있습니다. Anthropic에 따르면, 증류対策에는 생물무기 개발을 방지하는対策とおおむね 동등한 견고성을 施しているとのこと입니다. 마지막으로, 반복적인 증류 시도를 어렵게 하는対策입니다. 대부분의 경우 특정 계정이 증류에 이용되는 것은 감지 가능하며, 증류를 반복적으로 시도하는 것을 감지한 경우에는 관련 계정을 차단한다고 합니다.
이러한 시스템을 통해 Anthropic은 기존의 모든 증류 방법을 차단하고 있으며, 증류를 수행하는 사람들의 추출한 추론 토큰 수는 도입 전과 비교하여 10분의 1에서 100분의 1까지 줄었다고 Anthropic은 밝혔습니다. 아직 도입 단계이지만, 증류를 통해 수집되는 데이터량은 약 90%에서 99%까지 감소했다는 점이 시사되고 있습니다. 또한, 증류를 시작한 계정을 수만 건 이상 BAN하고 있으며, 이는 대부분 2시간 이내에 해결될 수 있다고 Anthropic은 홍보했습니다. 다만, 이러한 조치에는 “증류를 수행하는 사람들로부터 얻는 수익을 잃게 된다”, “정상 사용자에게 기능 업데이트를 요청해야 한다”, “정상 요청을 잘못해서 차단하게 된다” 등의 단점도 있습니다. Anthropic은 “이러한 성과가 얼마나 지속될지는 알 수 없습니다. 증류에 대해서는 앞으로도 샅샅이 뒤지는 싸움이 계속될 것으로 예상합니다. 정상 사용자의 이용 경험을 해치고 있다는 상충 관계도 있지만, 이러한 조치에는 비용을 부담할 만한 가치가 있다고 생각합니다”라고 언급했습니다. 또한, “불법적인 증류를 막기 위해서는 최첨단 모델을 개발하는 모든 기업의 노력과 협력이 필요합니다. 공격자가 우리와 동등한 수준의 모델에 쉽게 접근할 수 있다면, 우리의 노력은 무너질 것입니다”라고도 밝혔으며, 각 회사에 협력을 요청하고 있습니다.
원문 보기 | 출처: Gigazine