假如有一万张卡，RL训练该怎么扩大规模？十万张呢？
2026.09.22 · 观点 · 论文 · 论文预印本
腾讯混元团队提出RL训练中Batch Size的规模化准则，以最短时间达标。
腾讯混元团队研究LLM强化学习中的Batch Size规模化问题，提出通过调整学习率保持样本效率，并优化系统吞吐来缩短训练时间。实验显示，在GRPO中，Batch Size在16倍范围内近似不变，但过大Batch会因样本效率损失而减速。
- Batch Size影响样本效率和系统效率
- GRPO在16倍prompt batch范围内近似不变
- PPO中actor和critic的尺度不同
- 通过调整学习率可保持样本效率
- 过大Batch会因样本效率损失而减速
为什么值得看
为大规模RL训练提供Batch Size调优的实用准则。
适合谁关注
大模型训练工程师、强化学习研究者