NeurIPS 2026 | 长推理为何总在中途走偏?SAGE用结构信号纠偏,AC实例验证通过率接近8倍
2026.10.07 · 事件 · 论文 · 论文预印本
弗吉尼亚理工等团队提出SAGE,用符号闭包分析诊断长推理偏差并转为训练引导。
弗吉尼亚理工大学、威斯康星大学麦迪逊分校和达特茅斯学院团队在 NeurIPS 2026 论文中提出 SAGE,用符号闭包分析(SCA)解释长推理中的探索偏差与累积偏差,并将其转化为训练时的结构引导。在 12 个基准、7 个模型家族评测中总体优于所比较的后训练方法,Qwen3 在 AC 实例上的 Lean 验证通过率接近基础模型的 8 倍。
- SCA 用局部可行域解释探索偏差与累积偏差
- SAGE 含代数稀疏化与双曲结构引导两种势函数
- 12 个基准、7 个模型家族上总体优于对比后训练方法
- Qwen3 的 AC 实例 Lean 验证通过率接近基础版 8 倍
- 训练后推理不再运行结构评分,无额外推理开销
为什么值得看
理解长推理为何走偏,以及结构信号如何纠偏。
适合谁关注
关注大模型推理与后训练的研究者和工程师。