卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法
2026.10.16 · 事件 · 论文 · 论文预印本
港科大与华为提出 BalanceRoute，用在线路由减少解码同步等待，96 卡实验吞吐提升约 15%。
香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute，针对 MoE 模型部署中跨组同步等待导致的负载不均衡问题，通过数学建模刻画同步等待，并将短期负载预测转化为在线路由决策。在 96 卡主实验中，采用实际预测器的 BR-H 相对最强基线解码吞吐提升约 15%，该工作已被 NeurIPS 2026 接收，并部署于双方共建的 MaaS 推理服务系统…
- 跨组同步导致最忙单元拖慢整体解码，卡越多收益越被等待吃掉
- 请求数相同但 KV 缓存量不同，负载仍会不均衡
- BR-H 引入 H 步窗口预测请求结束情况，形成短期负载估计
- 96 卡昇腾 910C 实验：解码吞吐相对最强基线提升约 15%
- 单轮调度耗时中位数 1.20 毫秒，低于约 60 毫秒单步预算
为什么值得看
揭示大模型推理吞吐瓶颈不在算力，而在跨组同步等待。
适合谁关注
关注大模型推理部署、MoE 系统优化的工程师与研究者。