返回精选
vLLM 官方博客Inferact and the vLLM Team2026-10-23 08:0025 天前

vLLM 在 GB300 NVL72 上规模化服务 DeepSeek-V4.1-Flash,解码吞吐与 DeepInfer 差距在 6% 以内

Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72

AI 导读

vLLM 用 P/D 分离与 Wide-EP 在单台 NVIDIA GB300 NVL72 上服务 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s,为早期单节点结果的 7.9 倍。

来源:vLLM 官方博客 · vllm.ai

事件后续1

查看事件全部

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。