LMSYS BlogSGLang, NVIDIA and AMD teams2026-10-18 00:0010 月 18 日SGLang 发布 Low-Latency Mode,通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟SGLang Low-Latency Mode: Kernels and RuntimeAI 导读SGLang 团队推出 Low-Latency Mode,通过插件框架引入专用内核,在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。来源:LMSYS Blog · lmsys.org