两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」

2026.11.09 · 收录日 2026.11.09 · 事件 · 开源项目 · 媒体报道

面壁智能开源MiniCPM-V 4.7,35B-A3B版在手机约3GB内存下跑出30+ token/s。

面壁智能联合OpenBMB开源MiniCPM-V 4.7,其中35B-A3B是全球首个可在端侧无损流畅运行的开源MoE多模态大模型,手机上仅占约3GB内存。团队用前瞻专家调度(LES)把专家权重放在闪存、按需加载,在iPhone 18 Pro Max上速度超过30 token/s。

  • MiniCPM-V 4.7 含35B-A3B与1B两个版本,前者摸高、后者主打入门设备与端侧普惠。
  • 35B-A3B在官方34项基准中领先Qwen3.6-35B-A3B,并超过Qwen 27B和Gemma-4 31B。
  • 核心解法LES提前预测下一层所需专家,只改权重加载时机,不改变专家选择、不损失精度。
  • 配合量化与DSpark投机解码,iPhone 17 Pro Max超13 token/s、iPad Pro M4超17 token/s,LES 2.0提升至30 token/s以上。
  • 姚远判断未来10%无上限需求留在云端,90%有上限的日常需求逐渐转移到端侧。

为什么值得看

看清端侧大模型如何用Infra突破内存上限,以及手机跑大模型的真实进度。

适合谁关注

关注端侧AI、大模型部署与手机芯片的开发者与从业者。

原始来源

查看收录日 2026.11.09 全部卡片 · 全部卡片归档