蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
来源:vLLM 官方博客 · vllm.ai
事件后续1
查看事件全部- 蚂蚁集团与 vLLM 社区开源量化推理内核库 HummingvLLM 官方博客 · 26 天前