让决策模型学会「难题多想」:Lev用循环代替思维链,一份权重覆盖多个深度

2026.11.02 · 收录日 2026.11.02 · 事件 · 论文 · 论文预印本

Lehigh 等提出 Lev,用循环深度替代推理文本,同一权重可按题决定算几圈。

Lehigh University 等机构提出决策模型 Lev,用循环而非生成推理文本来加深思考,同一份权重可在任意深度作答,并由轻量停止器按题决定圈数。在 JevBench 231 道题上,同一个 Lev-2.6B checkpoint 从一圈 63.2% 提升到四圈 76.2%,增加 13.0 个百分点。

  • Lev 沿用 Kev 式决策接口,一次前向给出各选项概率,不生成任何文本,几十毫秒返回。
  • 同一组解码层循环 R 次,每圈后共享 pointer head 读一次选项概率,损失对所有圈取平均。
  • 停止器预测「当前答案是否与最深一圈一致」,无需人工标签,阈值取保证 98% 一致的最小值。
  • JevBench 上一圈到四圈提升 13.0 个百分点,收益主要来自第一个额外圈,第四圈最多再加 1 个点。
  • 按需深度只用最深一圈 76% 到 85% 的计算,准确率损失不到 1 个点。

为什么值得看

决策模型也能按题加算力,不必为推理文本付费。

适合谁关注

关注 LLM 推理效率与决策模型的研究者和工程师。

原始来源

查看收录日 2026.11.02 全部卡片 · 全部卡片归档