你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁
2026.11.18 · 收录日 2026.11.18 · 模型 · 论文 · 论文预印本
港大团队提出「隐式优势对称性」统一解释GRPO探索不足与难度不敏感两大缺陷。
香港大学屈靓琼教授团队提出「隐式优势对称性」视角,解释GRPO为何探索不足、对难度不敏感。基于该理论提出的A-GRAE在不增加额外计算成本下,同时提升准确率(Pass@1)与探索能力(Pass@k),论文获NeurIPS 2026录用,代码已开源。
- 组级别对称:正确与错误轨迹绝对优势值之和严格相等,未采样却正确的轨迹得不到直接更新,抑制探索。
- 样本级别对称:GRPO分配给单条prompt的更新幅度正比于p(1-p),中等难度样本主导更新,简单题与困难题权重相同。
- 控制实验显示:压制正确轨迹权重可激发探索但后期易崩溃;早期学简单样本、后期转向困难样本效率更高。
- A-GRAE引入批次平均奖励作代理指标,样本级别动态由易到难,组级别对正确响应优势值做衰减抑制,即插即用。
- 在AIME2025、AMC23、MATH、Geo3K、MathVision等7个基准上验证,DAPO+A-GRAE在AIME2025平均表现达53.3%,高于原版DAPO的52.2%。
为什么值得看
理解GRPO训练瓶颈,并看到一个即插即用的改进方案。
适合谁关注
大模型后训练研究者、强化学习算法工程师。
