热点榜
热点事件已平息

IBM 演示 llm-d 芯片设计降本并发布 1.0

4 篇报道2 个报道来源27 天前更新

先了解这件事

IBM Research 演示了用开源前沿模型结合 llm-d 分布式推理构建 agent factory,对量子纠错解码算法 Relay-BP 做 HLS 硬件优化:在 100 个假设预算下实现约 52 倍加速,推理成本约 26 美元。IBM 称,同样预算下全专有模型配置的成本为 299 美元、加速 204 倍。上述性能与成本数据来自 IBM Research 的演示,并非第三方验证结论。

llm-d 是开源、Kubernetes 原生的推理框架。IBM Research 此前解析了其六项分布式推理技术,包括前缀缓存感知路由、KV-cache 卸载、流控、批推理优化、prefill/decode 分离与宽专家并行。

由 IBM、Red Hat 和 Google 等主导的 llm-d 项目随后在 PyTorch Conference North America 上发布 llm-d 1.0,称该版本支持任意模型、任意加速器和任意云。MarkTechPost 将发布主体表述为 Google Cloud,并称 1.0 是首个稳定版本,把 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。

AI 根据报道生成 · 26 天前更新

最新进展

Google Cloud 发布 llm-d 1.0,为 TPU 与 GPU 集群带来缓存感知路由

事件进展3

  1. llm-d 1.0发布,强化开源AI推理生产就绪能力

    IBM Research:AI:llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪
  2. IBM Research展示AI代理工厂优化芯片设计

    IBM Research:AI:IBM Research 用开源模型与 llm-d 分布式推理降低 AI 芯片设计成本
  3. 介绍分布式推理框架llm-d的技术创新

    IBM Research:AI:IBM 解析分布式推理如何支撑大模型服务:llm-d 的六项关键技术

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。