Google Cloud 发布 llm-d 1.0,为 TPU 与 GPU 集群带来缓存感知路由
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI 导读Google 在 PyTorch Conference North America 发布 llm-d 1.0,这是该开源分布式推理栈的首个稳定版本,将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。
另有 1 家信源报道
- llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪IBM Research:AI · 27 天前
来源:MarkTechPost · marktechpost.com
事件后续1
查看事件全部- llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪IBM Research:AI · 27 天前