# 클라우드flare 가 GLM-5.3 Workers AI 모델의 요청 간 KV 캐시 누출과 SGLang 기반 대응책을 설명함

> https://bookfactory.kr/board/news/23960
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-28T05:01:17.588Z

---

2026 년 9 월 8 일, Cloudflare Workers AI 에서 호스팅 중인 GLM-5.3 모델 (@cf/zai-org/glm-5.3) 에 '테넌트 분리 문제'가 발생했다는 것이 보안 연구자 가디 에브론 씨에 의해 보고되었습니다. Cloudflare 는 이 사고를 수정하고, 모델은 9 월 9 일 복귀되었습니다. 사고 정보 공개 일환으로 Cloudflare 의 설명이 10 월 26 일 공개되었습니다. Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang | Cloudflare Blog https://blog.cloudflare.com/kv-cache-exposure-remediation/ 2026 년 8 월 27 일에서 9 월 9 일 사이에 GLM-5.3 Workers AI 모델을 사용 중인 일부 고객이, 자신의 요청 직전에 수행된 다른 고객의 요청 데이터를 포함하는 응답을 받는 현상에 시달렸습니다. 영향을 받은 응답은 총 155 건으로, 모두 68 만 1,280 토큰을 초과하는 프롬프트에 대해 전송되었습니다. Cloudflare 의 조사에 따르면 해당 요청은 일반적인 긴 문맥 사용 상황과 타이밍, 양과 일치하므로, 의도적인 버그 악용이라고 결론지었습니다.

결국 이 사고는 Cloudflare 가 사용하는 오픈소스 추론 엔진인 SGLang 의 설정 오류와 버그의 조합으로 발생했음이 밝혀졌습니다. 첫 번째 문제는 SGLang 의 설정 오류였습니다. GLM-5.3 은 104 만 8576 토큰의 컨텍스트 윈도우로 배포되었으나, 프리필 KV 캐시 풀에는 68 만 1280 토큰만 저장할 수 있었습니다. 저장 가능한 토큰 수에 불일치가 있다는 점은 릴리스 전에 인지되었으나, 토큰이 수용되지 않을 경우 오류가 발생한다는 것이 예상되었습니다. 두 번째 문제는 SGLang 이 분리형 프리필 디코드 모드에서 발생하는 초과 요청을 처리하는 방식에 버그가 있다는 점입니다. 프롬프트가 캐시 풀에 수용되지 않을 경우 요청은 내부적으로 거부되어 1 토큰의 플레이스홀더로 대체되었습니다. 그러나 요청을 중단하고 클라이언트 오류를 반환하지 않고, 프리필 노드는 플레이스홀더의 KV 캐시를 생성하여 디코드 노드로 전송했습니다. 디코드 노드는 이전 요청의 KV 캐시가 덮어쓰였다고 오인하여, 오래된 캐시 데이터를 포함하는 응답을 생성할 수 있었습니다. 결과적으로 68 만 1280 토큰을 초과하는 프롬프트에 대한 응답에 다른 사용자의 GLM-5.3 세션 데이터가 포함될 가능성이 발생했습니다.

Cloudflare 는 문제 보고를 받고 모델을 일시적으로 비활성화한 후 다음 두 가지 조치를 취하여, 검증이 완료된 후 모델을 다시 활성화했습니다. 1. 설정 수정: 모델의 컨텍스트 길이에 맞춰 KV 캐시 풀 크기를 조정하여 약 204 만 토큰을 유지할 수 있도록 했습니다. 2. 엔진 수정: SGLang 엔진에 패치를 적용하여 거부된 요청이 안전하게 처리되도록 수정했습니다. 구체적으로는 거부된 요청이 폐기되도록 변경하고, 디코드 노드가 전송한 토큰 수의 검증이 추가되었습니다. 일련의 타임라인은 다음과 같습니다.

클라우드플레어는 이번 사고를 계기로 다음과 같은 대응 조치를 취했습니다. - 분리된 배포 환경의 강화: 지연 배포 범위를 확대하여 모든 실패 유형을 커버하도록 조정했습니다. - SGLang 팀과의 협력 강화: SGLang 유지 관리자와 협력하여 관련 풀 리퀘스트를 v0.5.22 에 반영했습니다. 또한 다른 운영자 대상 다음과 같은 권장 조치를 제공합니다. - KV 풀 크기와 컨텍스트 길이를 항상 측정하고, 풀 크기가 작을 경우 컨텍스트 길이를 조정하십시오. - SGLang 을 v0.5.22 이후 빌드로 업그레이드하십시오. - 지연 KV 릴리스를 활성화하고, Mooncake 전송 바치를 제한하십시오. - 출력 손상 감지를 활성화하십시오. - 클라이언트 단절이 요청 중단을 유발하지 않도록 로드 밸런서를 구성하십시오.

[원문 보기](https://gigazine.net/news/20261028-kv-cache-exposure-remediation/) | 출처: Gigazine