MiniMax 感谢 SGLang-TorchTPU 将 H3 模型带上 TPU
Thank you for bringing H3 to TPUs! Excited to see more open-source work on efficient video inference and what it could enable: faster cre...
AI 导读MiniMax 转发并致谢 SGLang 团队:SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共建,可将 MiniMax H3、GLM-5.3 Flash、Kimi K3 等开源模型部署在 TPU 上,并已支撑 Meta 生产环境推理。Muse Spark Open 在 InferenceX 8K/1K、bs=1 下解码达 770 tok/s,项目已在 GitHub 开源。MiniMax 表示期待高效视频推理方向更多开源工作。
另有 1 家信源报道
- SGLang-TorchTPU 发布,Ling 3.1 Flash 等开源模型入选首批支持阵容蚂蚁百灵 · 26 天前
来源:MiniMax · x.com
事件后续1
查看事件全部- Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎Google Developers Blog · 27 天前