热点榜
热点事件已平息

SGLang 修复 PD 分离服务 KVCache 竞态

2 篇报道2 个报道来源21 天前更新

先了解这件事

SGLang 团队与 Cloudflare 协同披露并修复了 PD 分离服务中的跨请求 KVCache 竞态问题。Cloudflare 称,2026 年 8 月 27 日至 9 月 9 日,Workers AI 上 @cf/zai-org/glm-5.3 的部分用户收到了包含其他用户此前请求数据的回复,共 155 条回复受影响,全部来自长度超过 681,280 token 的提示。Cloudflare 将原因归结为 prefill KV cache 池(681,280 tokens)小于上下文窗口(1,048,576 tokens),叠加 SGLang 分离式推理的拒绝路径缺陷。

修复按部署方式区分:v0.5.21 默认保护 Mooncake 和 NIXL 部署,覆盖所有失败类型;MORI 部署及带 generation 标记的 ack 清理需使用包含 #37077 合并(2026-10-03,进入 v0.5.22)或之后的构建。仍运行 v0.5.19 或 v0.5.20 的部署,需在 prefill 和 decode 服务器上同时设置 SGLANG_DISAGGREGATION_DEFERRED_DECODE_KV_RELEASE=1。

AI 根据报道生成 · 21 天前更新

最新进展

Cloudflare 披露 GLM-5.3 Workers AI 跨请求 KV cache 泄露事件及修复细节

事件进展1

  1. SGLang发布安全更新与运维指南

    LMSYS Blog:SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。