返回精选
MarkTechPostAsif Razzaq2026-10-21 12:3327 天前

Google Cloud 发布 llm-d 1.0,为 TPU 与 GPU 集群带来缓存感知路由

Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets

AI 导读

Google 在 PyTorch Conference North America 发布 llm-d 1.0,这是该开源分布式推理栈的首个稳定版本,将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。

另有 1 家信源报道

来源:MarkTechPost · marktechpost.com

事件后续1

查看事件全部

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。