返回精选
LMSYS BlogSGLang, NVIDIA and AMD teams2026-10-18 00:0010 月 18 日

SGLang 发布 Low-Latency Mode,通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟

SGLang Low-Latency Mode: Kernels and Runtime

AI 导读

SGLang 团队推出 Low-Latency Mode,通过插件框架引入专用内核,在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。

来源:LMSYS Blog · lmsys.org

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。