AI Agent 任务时灵时不灵？一致性差距达 24.4 个百分点，新工具可减半

2026.09.16 · 观点 · 技术分析 · 官方发布

研究发现 AI Agent 平均成功率掩盖了重复执行的不稳定性，新方法可将一致性差距减半。

IBM 研究团队发现，AI Agent 在重复执行同一任务时可能失败，平均成功率掩盖了这种不稳定性。在 AppWorld 基准上，GPT-4.1 驱动的 ReAct Agent 平均成功率 77.4%，但全部 5 次运行都成功的任务仅占 53.0%，一致性差距达 24.4 个百分点。他们开发了 Consistency Analyzer 诊断工具和一致性指南，将差距从 24.4 个百分点降至 12.0 个百分点，且不损失平均准确率。