让决策模型学会「难题多想」:Lev用循环代替思维链,一份权重覆盖多个深度
2026.11.02 · 收录日 2026.11.02 · 事件 · 论文 · 论文预印本
Lehigh 等提出 Lev,用循环深度替代推理文本,同一权重可按题决定算几圈。
Lehigh University 等机构提出决策模型 Lev,用循环而非生成推理文本来加深思考,同一份权重可在任意深度作答,并由轻量停止器按题决定圈数。在 JevBench 231 道题上,同一个 Lev-2.6B checkpoint 从一圈 63.2% 提升到四圈 76.2%,增加 13.0 个百分点。
- Lev 沿用 Kev 式决策接口,一次前向给出各选项概率,不生成任何文本,几十毫秒返回。
- 同一组解码层循环 R 次,每圈后共享 pointer head 读一次选项概率,损失对所有圈取平均。
- 停止器预测「当前答案是否与最深一圈一致」,无需人工标签,阈值取保证 98% 一致的最小值。
- JevBench 上一圈到四圈提升 13.0 个百分点,收益主要来自第一个额外圈,第四圈最多再加 1 个点。
- 按需深度只用最深一圈 76% 到 85% 的计算,准确率损失不到 1 个点。
为什么值得看
决策模型也能按题加算力,不必为推理文本付费。
适合谁关注
关注 LLM 推理效率与决策模型的研究者和工程师。
