OpenBMB 让 35B MoE 在 iPhone 上跑到 20.5 tok/s，不跳过专家
2026.10.21 · 事件 · 开源项目 · 社区热议
OpenBMB 用前瞻专家调度把专家权重预加载，35B MoE 在 iPhone 上提速 6.07 倍。
OpenBMB 公开工程实践，用 Lookahead Expert Scheduling（LES）在本地运行 35B-A3B MoE 模型，不改变路由也不丢弃专家。iPhone 18 Pro Max 上达到 20.51 tok/s，比 3.38 tok/s 基线快 6.07 倍，专家权重缩小 26.7%，五项基准仅降 0.16 分，低内存配置峰值约 3 GB。实现已在 llama.cpp-omni 开源。
- LES 预测下一层所需专家并预加载权重
- iPhone 18 Pro Max 达 20.51 tok/s，快 6.07 倍
- 专家权重缩小 26.7%，五项基准仅降 0.16 分
- 低内存配置峰值内存约 3 GB
- 实现含 DSpark 集成，已在 llama.cpp-omni 开源
为什么值得看
不换路由、不丢专家，靠调度隐藏闪存瓶颈，思路可迁移到其他 MoE。
适合谁关注
关注端侧大模型、MoE 推理与 llama.cpp 的开发者。