社区实测面壁 MiniCPM-V 4.7 35B-A3B:iPhone 17 Pro Max 上 13+ tokens/s 端侧多模态推理
Great to see community experiments with MiniCPM-V 4.7! Thanks @techNmak for sharing your neo-brutalist portfolio UI. Curious to see what ...
AI 导读@techNmak 用面壁 MiniCPM-V 4.7 35B-A3B 实验构建了一个 Neo-Brutalist 风格的作品集 UI,OpenBMB 转发致谢并期待其后续作品。该模型总参数 35B、每次仅激活 3B,在 iPad Pro M4(16GB)上达 17+ tokens/s、iPhone 17 Pro Max 上达 13+ tokens/s,优化移动端设置下内存占用约 3GB;另有面向 OCR、图表、数学和通用理解的 1B 紧凑版本,两个版本均支持 256K 上下文窗口,权重、推理代码和微调代码开源,GitHub 与 Hugging Face 可获取。
来源:面壁智能 OpenBMB · x.com
事件后续2
查看事件全部- 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行公众号:面壁智能 · 27 天前
- 面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行公众号:面壁智能 · 10 月 13 日