先了解这件事
腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。
最新进展
腾讯开源 AngelSpec:面向推测解码草稿模型的统一训练框架
事件进展1
腾讯混元开源 AngelSpec 投机解码框架
腾讯混元:腾讯混元开源 AngelSpec 投机解码框架
腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。
腾讯开源 AngelSpec:面向推测解码草稿模型的统一训练框架