MoE 推理优化：Qwen 35B A4B+ 仅改路由，推理 token 减少 8.5%，无需训练
2026.09.04 · 事件 · 论文 · 论文预印本
通过运行时调整 MoE 路由器，在后期层增加专家预算，Qwen 35B 推理 token 减少 8.5%，准确率不变。
一篇新论文提出无需重新训练，仅通过运行时调整 MoE 路由器，在后期 Transformer 层扩展专家选择预算（N≥K），并施加线性衰减，即可优化稀疏 MoE 推理模型。在 MMLU-Pro 上，Qwen3.6-35B-A3B 变为 A4B+ 后，平均推理 token 减少 8.5%，延迟降低 10.9%，准确率保持 84.5%（原生 84.0%，无显著差异）。
- 仅调整路由器，不训练或微调
- 后期层扩展专家预算，线性衰减
- 推理 token 减少 8.5%，延迟降 10.9%
- 准确率不变（84.5% vs 84.0%）
- 论文及代码已公开
为什么值得看
展示无需训练即可提升 MoE 推理效率，对部署成本敏感的场景有价值。
适合谁关注
关注 MoE 模型推理优化、部署成本的研究者和工程师。