先了解这件事
Google 发布基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 后端,让开发者用 PyTorch 工具在 Google Cloud TPU 上部署模型。vLLM 后端由 Google 与 Inferact 合作开发,SGLang 后端由 RadixArk 的 SGLang 团队联合 Google、Meta 开源。Google 称两个引擎已在预览客户的生产环境中规模化运行。
vLLM 的 vllm-torchtpu 插件复用 vLLM 既有模型代码,无需改动模型定义即可部署大多数现有模型;运行需在 Cloud TPU VM 上使用 Python 3.12,推荐硬件为 TPU v7x(Ironwood),v6e、v5e、v5p 仍属实验性支持。SGLang-TorchTPU 让同一 SGLang 引擎可在 GPU 和 TPU 上提供生产级服务,其 Miles TPU 训练处于预览阶段,团队目标是在 2027 年第一季度前实现新开源模型的 Day 0 TPU 支持。
两个项目均设有面向贡献者的免费 TPU 算力池:vLLM 称这是首个社区贡献 TPU 容量池,SGLang 方面由 RadixArk 开放;vLLM 还表示,Inferact 的核心维护者会协助设计与 PR 评审。免费算力仅面向积极贡献这两个引擎的开发者,需申请。MiniMax 随后致谢 SGLang 团队将 H3 模型带上 TPU,并称该后端可部署 MiniMax H3、GLM-5.3 Flash、Kimi K3 等开源模型;蚂蚁百灵称 Ling 3.1 Flash 和 Ling 3.0 家族也入选首批支持阵容。
AI 根据报道生成 · 26 天前更新最新进展
SGLang-TorchTPU 发布,Ling 3.1 Flash 等开源模型入选首批支持阵容
事件进展2
MiniMax感谢SGLang-TorchTPU支持H3模型
MiniMax:MiniMax 感谢 SGLang-TorchTPU 将 H3 模型带上 TPUGoogle发布vLLM和SGLang的TPU原生PyTorch后端
Google Developers Blog:Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎