返回精选
Cohere Labs:官方研究博客2026-09-08 00:009 月 8 日

Cohere 详解 North Mini Code 的 megakernel 推理引擎,单 H100 上比 vLLM 快 1.25–1.41 倍

Inside the megakernel serving engine for North Mini Code

AI 导读

Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放。

来源:Cohere Labs:官方研究博客 · cohere.com

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。