StateBench:测试语言模型如何在长文档中跟踪状态变化

2026.11.04 · 收录日 2026.11.04 · 事件 · 论文 · 官方发布

Ai2 推出长上下文状态跟踪基准 StateBench,分四个难度等级评测模型。

Ai2 发布 StateBench 基准,用于评测语言模型在长文档中跟踪实体状态变化的能力,按复杂度分为 r-trivial、aperiodic、soluble、general finite 四个等级。测试显示,直接在这些任务上训练时,循环与混合架构的泛化能力远超 Transformer;而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 等前沿模型在输入变长后,仍在更难的状态跟踪上失效。

  • StateBench 分四个难度等级,对应不可变赋值、按值重赋值、自引用更新、按引用赋值四类状态更新操作。
  • 四个等级源自 Krohn–Rhodes 理论,把状态跟踪问题视为有限幺半群上的字问题并分解为原子原语。
  • 为公平比较,四个等级使用相同变量数、相同取值、相同赋值位置,仅改变赋值类型。
  • 在 r-trivial、aperiodic、general finite 等级上测试开放预训练模型,观察状态跟踪失效点。
  • 循环与混合模型(如 Gated DeltaNet)在直接训练时泛化远于 Transformer,前沿模型在长输入下仍会失效。

为什么值得看

了解不同架构在长上下文状态跟踪上的能力边界。

适合谁关注

研究长上下文、模型架构与评测的研究者和开发者。

原始来源

查看收录日 2026.11.04 全部卡片 · 全部卡片归档