返回精选
Baseten 工程博客2026-10-03 05:0910 月 3 日

Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

Agentic inference optimization: 50-90% faster engines

AI 导读

Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

来源:Baseten 工程博客 · baseten.co

事件后续1

查看事件全部

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。