英伟达、UT-Austin发布Realtime-Bench,实时互动任务难倒GPT-6

2026.11.04 · 收录日 2026.11.04 · 事件 · 论文 · 论文预印本

新基准测试12个前沿模型的实时交互能力,最高成功率仅44%。

英伟达与UT-Austin等机构提出Realtime-Bench,用30个网页任务和20个游戏任务测试12个前沿模型的实时交互能力。在环境实时推进时,表现最好的GPT-6-Astra任务成功率仅44%,按真实推理延迟推进时Pass^3仅36%。

  • Realtime-Bench包含30个网页任务和20个游戏任务,覆盖出行、电商、服务、安全及街机、解谜、策略、模拟八类场景。
  • 实时交互要求模型具备RT-Perceive、RT-Deliberate、RT-Act三种核心能力,即观察变化、按时间调整推理、把握行动时机。
  • 测试采用Wall Clock、Paused Clock、Token Clock三种环境推进方式,并以Pass^3为主要指标衡量可靠性。
  • Wall Clock下GPT-6-Astra高推理强度Pass^3仅36%,Jev延迟小于1秒但Pass^3仅8%。
  • 提高推理强度效果因模型而异:Token Clock下Claude Opus 5成功率从44%降至30%,Kimi-K3从24%升至36%。

为什么值得看

揭示前沿模型在实时交互任务上的能力短板与延迟权衡。

适合谁关注

关注大模型评测、实时AI智能体与基准研究的人。

原始来源

查看收录日 2026.11.04 全部卡片 · 全部卡片归档