RL 训练 LLM 的“马太效应”：难题几乎不提升，小采样数反而更优
2026.09.16 · 观点 · 论文解读 · 论文预印本
研究发现 RL 主要提升易题，难题提升甚微，小 k 值反而更利于解决难题。
Michael Noukhovitch 的博客介绍其论文，提出 RL 训练 LLM 存在“马太效应”：模型在初始能力较强的任务上提升更多，难题几乎不变。实验显示，在 GSM8k 上，k=4 比 k=32 更能解决难题，因为大 k 虽增加难题正确样本，但也增加易题错误样本。
- AIME 难题 pass@32 几乎不提升
- RL 收益与初始能力成正比
- k=4 比 k=32 更利于解决难题
- 大 k 增加易题错误样本入批
- 提出 Matthew Effect 概念
为什么值得看
揭示 RL 训练盲区，对提升模型难题能力有直接指导意义。
适合谁关注
LLM 强化学习研究者、AI 训练工程师