蚂蚁百灵感谢 SGLang 为 Ling-3.1-flash 提供首日部署支持
Thanks @sgl_project for day-zero support and for helping developers serve Ling-3.1-flash more efficiently! ⚡
AI 导读蚂蚁百灵发推感谢 SGLang 为 Ling-3.1-flash 提供 day-zero 支持,帮助开发者更高效地部署该模型。SGLang 介绍其为 560B 参数 MoE 混合推理模型、25B 激活、1M 上下文,经 MXFP4 与 block-FP8 量化后权重从约 534GB 降至约 292GB,可在 4 张 Hopper GPU 上运行,并称其在 GDPVal-AA、FrontierSWE、Terminal-Bench 4.0 等 agent、办公与编码任务上表现良好。
来源:蚂蚁百灵 · x.com
事件后续2
查看事件全部- 蚂蚁百灵开源 Ling-3.1-flash:560B 总参模型量化后可 4 卡部署公众号:蚂蚁百灵 · 10 月 15 日
- 蚂蚁百灵发布 Ling-3.1-flash,面向真实世界长任务升级公众号:蚂蚁百灵 · 9 月 30 日