RadixArk 联合 Google 与 Meta 开源 SGLang-TorchTPU,让 SGLang 在 TPU 上原生提供 PyTorch 生产级推理
SGLang-TorchTPU: PyTorch-Native Production Serving on TPUs
AI 导读RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,基于 Google 的 TorchTPU 让同一 SGLang 引擎可在 GPU 和 TPU 上提供生产级服务。
另有 2 家信源报道
- vLLM 发布 TorchTPU 后端,让 vLLM 在 Google Cloud TPU 上运行vLLM 官方博客 · 27 天前
- Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎Google Developers Blog · 27 天前
来源:LMSYS Blog · lmsys.org
事件后续1
查看事件全部- Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎Google Developers Blog · 27 天前