Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎
Announcing New vLLM and SGLang Inference Engines on TPU
AI 导读Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
另有 2 家信源报道
- vLLM 发布 TorchTPU 后端,让 vLLM 在 Google Cloud TPU 上运行vLLM 官方博客 · 27 天前
- RadixArk 联合 Google 与 Meta 开源 SGLang-TorchTPU,让 SGLang 在 TPU 上原生提供 PyTorch 生产级推理LMSYS Blog · 27 天前
来源:Google Developers Blog · developers.googleblog.com
事件后续1
查看事件全部- Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎Google Developers Blog · 27 天前