EMNLP 2026 Main|预测越像真实环境,Agent反而做得更差?我们把世界模型的训练目标从"状态一致"换成了"行为一致"
2026.09.08 · 观点 · 论文 · 论文预印本
研究发现文本世界模型追求文本相似度反而误导智能体,改用行为一致性奖励后,16组实验13组提升。
大连理工等机构提出行为一致性奖励BehR,将世界模型训练目标从文本相似度改为参考智能体决策一致性。在WebShop和TextWorld上,16组配置中13组提升,弱智能体离线评测假阳性率从42.5%降至9.5%。
- 文本保真度指标存在“指标反转”现象
- 提出行为一致性奖励BehR
- 16组配置中13组提升,3组持平
- 弱智能体假阳性率从42.5%降至9.5%
- 离线评估和前瞻规划均有收益
为什么值得看
揭示世界模型训练目标的关键误区,提出更有效的对齐方法。
适合谁关注
关注LLM Agent、世界模型和强化学习的研究者。