面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
AI 导读面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。
来源:公众号:面壁智能 · mp.weixin.qq.com
事件后续2
查看事件全部- 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行公众号:面壁智能 · 27 天前
- 面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行公众号:面壁智能 · 10 月 13 日