llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪
llm-d 1.0 hardens open-source AI inference for production
AI 导读IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。
另有 1 家信源报道
- Google Cloud 发布 llm-d 1.0,为 TPU 与 GPU 集群带来缓存感知路由MarkTechPost · 26 天前
来源:IBM Research:AI · research.ibm.com
事件后续1
查看事件全部- llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪IBM Research:AI · 27 天前