先了解这件事
IBM Research 演示了用开源前沿模型结合 llm-d 分布式推理构建 agent factory,对量子纠错解码算法 Relay-BP 做 HLS 硬件优化:在 100 个假设预算下实现约 52 倍加速,推理成本约 26 美元。IBM 称,同样预算下全专有模型配置的成本为 299 美元、加速 204 倍。上述性能与成本数据来自 IBM Research 的演示,并非第三方验证结论。
llm-d 是开源、Kubernetes 原生的推理框架。IBM Research 此前解析了其六项分布式推理技术,包括前缀缓存感知路由、KV-cache 卸载、流控、批推理优化、prefill/decode 分离与宽专家并行。
由 IBM、Red Hat 和 Google 等主导的 llm-d 项目随后在 PyTorch Conference North America 上发布 llm-d 1.0,称该版本支持任意模型、任意加速器和任意云。MarkTechPost 将发布主体表述为 Google Cloud,并称 1.0 是首个稳定版本,把 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。
AI 根据报道生成 · 26 天前更新最新进展
Google Cloud 发布 llm-d 1.0,为 TPU 与 GPU 集群带来缓存感知路由
事件进展3
llm-d 1.0发布,强化开源AI推理生产就绪能力
IBM Research:AI:llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪IBM Research展示AI代理工厂优化芯片设计
IBM Research:AI:IBM Research 用开源模型与 llm-d 分布式推理降低 AI 芯片设计成本介绍分布式推理框架llm-d的技术创新
IBM Research:AI:IBM 解析分布式推理如何支撑大模型服务:llm-d 的六项关键技术