先了解这件事
SGLang 团队与 Cloudflare 协同披露并修复了 PD 分离服务中的跨请求 KVCache 竞态问题。Cloudflare 称,2026 年 8 月 27 日至 9 月 9 日,Workers AI 上 @cf/zai-org/glm-5.3 的部分用户收到了包含其他用户此前请求数据的回复,共 155 条回复受影响,全部来自长度超过 681,280 token 的提示。Cloudflare 将原因归结为 prefill KV cache 池(681,280 tokens)小于上下文窗口(1,048,576 tokens),叠加 SGLang 分离式推理的拒绝路径缺陷。
修复按部署方式区分:v0.5.21 默认保护 Mooncake 和 NIXL 部署,覆盖所有失败类型;MORI 部署及带 generation 标记的 ack 清理需使用包含 #37077 合并(2026-10-03,进入 v0.5.22)或之后的构建。仍运行 v0.5.19 或 v0.5.20 的部署,需在 prefill 和 decode 服务器上同时设置 SGLANG_DISAGGREGATION_DEFERRED_DECODE_KV_RELEASE=1。
AI 根据报道生成 · 21 天前更新最新进展
Cloudflare 披露 GLM-5.3 Workers AI 跨请求 KV cache 泄露事件及修复细节
事件进展1
SGLang发布安全更新与运维指南
LMSYS Blog:SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题