MiniCPM-V 4.7 推测解码达 370 tok/s
370 tokens/sec with MiniCPM-V 4.7?! 🔥
AI 导读MiniCPM-V 4.7 实现 370 tokens/sec?!🔥
很高兴看到社区不断突破推测解码的极限。
特别感谢 @Tech2Wild 的整理!🚀
来源:面壁智能 OpenBMB · x.com
事件后续2
查看事件全部- 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行公众号:面壁智能 · 27 天前
- 面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行公众号:面壁智能 · 10 月 13 日