IBM 解析分布式推理如何支撑大模型服务:llm-d 的六项关键技术
How distributed inference keeps large AI models moving
AI 导读IBM Research 发文解析分布式推理如何为大规模 LLM 服务调度流量,其开源 Kubernetes 原生框架 llm-d 涵盖前缀缓存感知路由、KV-cache 卸载、流控、批推理优化、prefill/decode 分离与宽专家并行六项技术。
来源:IBM Research:AI · research.ibm.com
事件后续1
查看事件全部- llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪IBM Research:AI · 27 天前