万分之一——大模型后训练中的极端稀疏监督
2026.10.03 · 观点 · 论文 · 论文预印本
亚马逊与杜克大学发现，仅监督一个token即可提升大模型推理能力。
亚马逊和杜克大学的研究发现，在OPD后训练中每条rollout仅保留一个token的梯度信号（约0.025%），学生模型推理能力仍显著提升。选择分歧最大的token时，一到两个token的监督可匹配甚至超过全信号训练，并超越教师模型本身。
- 每条rollout仅保留一个token梯度，约0.025%监督信号
- Qwen3系列9组教师-学生配置下推理性能均提升
- 监督分歧最大的1-2个token可匹配或超过全信号训练
- 极端稀疏监督下学生输出分布与教师差异反而增大
- 万分之一监督仅更新10%网络参数即大幅提升性能
为什么值得看
挑战密集token监督必要性的默认假设，揭示后训练新可能。
适合谁关注
关注大模型后训练、蒸馏与推理能力的研究者和工程师。