HOPE:考虑专家协作的二阶专家剪枝方法,50%剪枝率下平均排名最优

2026.11.09 · 收录日 2026.11.09 · 事件 · 论文 · 论文预印本

新论文提出二阶专家剪枝方法 HOPE,在 50% 剪枝率下平均排名最优,智能体编程任务最高提升 6.1%

MoE 模型推理时全部专家 MLP 都要占内存,例如 Qwen3.5-122B 的 256 个专家占约 250 GB 参数内存的 95%,但每个 token 每层只用 8 个。现有剪枝方法独立给每个专家打分,忽略了专家之间的协作关系。新论文提出二阶方法 HOPE,考虑专家两两交互,在 50% 剪枝下取得最佳平均排名,智能体编程任务比次优方法最高提升 +6.1%。

  • MoE 推理时每个专家 MLP 都占内存,Qwen3.5-122B 每层 256 个专家,约 250 GB 参数内存的 95% 被专家 MLP 占用,但每 token 每层仅用 8 个
  • 专家剪枝直接删除最没用的专家,无需训练、可与量化组合,且避免动态加载/卸载的延迟问题
  • 现有剪枝方法是一阶方法,独立给每个专家打标量重要性分,假设专家贡献彼此独立
  • 实验观察到专家会形成稳定的共同激活协作组,忽略交互会导致剪枝次优,高剪枝率下更明显
  • HOPE 是二阶方法,考虑专家两两交互,目标是找到使剪枝误差最小的剪枝集合 P

为什么值得看

了解 MoE 内存瓶颈与专家剪枝新思路

适合谁关注

MoE 与大模型推理优化研究者、工程师

原始来源

查看收录日 2026.11.09 全部卡片 · 全部卡片归档