面壁智能解析 LES 推理技术:让 MiniCPM-V 4.7 在 iPhone 上跑出 20.51 tokens/s
📱 A 35B MoE model running on a phone at over 20 tokens/s.
AI 导读面壁智能(OpenBMB)介绍 MiniCPM-V 4.7 端侧高效推理背后的 LES(Lookahead Expert Scheduling)技术,解决 35B 总参数、每 token 激活 3B 的 MoE 模型在有限设备内存下专家权重加载等待的问题。
来源:面壁智能 OpenBMB · x.com
事件后续2
查看事件全部- 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行公众号:面壁智能 · 27 天前
- 面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行公众号:面壁智能 · 10 月 13 日