MiniCPM-V 4.7 iPhone 推理提速至 20.51 tokens/s
Love this breakdown! 🔥 From 3.38 to 20.51 tokens/s on an iPhone — a great example of how inference optimizations can unlock powerful on-...
AI 导读很喜欢这份拆解!🔥 在 iPhone 上从 3.38 提升到 20.51 tokens/s——这是推理优化如何释放强大端侧 AI 的一个绝佳例子。
感谢重点介绍 MiniCPM-V 4.7 背后的工程工作!🚀💙
来源:面壁智能 OpenBMB · x.com
事件后续2
查看事件全部- 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行公众号:面壁智能 · 27 天前
- 面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行公众号:面壁智能 · 10 月 13 日