vLLM 发布 TorchTPU 后端,让 vLLM 在 Google Cloud TPU 上运行
Introducing vLLM TorchTPU
AI 导读vLLM 团队与 Inferact、Google 合作发布 vLLM TorchTPU(vllm-torchtpu),一个在 Google Cloud TPU 上运行 vLLM 的新后端插件,复用 vLLM 既有模型代码,无需改动模型定义即可部署大多数现有模型。
另有 2 家信源报道
- RadixArk 联合 Google 与 Meta 开源 SGLang-TorchTPU,让 SGLang 在 TPU 上原生提供 PyTorch 生产级推理LMSYS Blog · 27 天前
- Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎Google Developers Blog · 27 天前
来源:vLLM 官方博客 · vllm.ai
事件后续1
查看事件全部- Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎Google Developers Blog · 27 天前