Claude Opus 5拿到45.7分,25个大模型视频记忆大考

2026.11.21 · 收录日 2026.11.21 · 模型 · 论文 · 论文预印本

UTS等四校提出VideoMemBench,用多轮对话考大模型能否记住前文

悉尼科技大学、香港中文大学、香港科技大学和浙江大学研究者联合提出 VideoMemBench,把视频问答组织成有前后联系的多轮对话,重点考察场景依赖与答案依赖两种能力。数据集收录 326 段视频和 2,476 轮问答,其中 1,387 轮需要借助前文。评测 25 个模型,Claude Opus 5 综合得分 45.7 居首,其答案依赖指标也仅 35.7%。

  • VideoMemBench 由悉尼科技大学、香港中文大学、香港科技大学和浙江大学研究者联合提出,关注大模型围绕同一视频持续对话时的记忆能力。
  • 数据集收录 326 段视频和 2,476 轮问答,其中 1,387 轮需要借助前文,包含跨多轮回指和同时依赖多条历史信息的问题。
  • 考察两种依赖:场景依赖需通过对话确定所指片段,答案依赖需沿模型先前识别的人物、物体或事件继续追问。
  • 评测 25 个模型,Claude Opus 5 综合得分 45.7,Gemini 3.8 Flash 42.4,Kimi K3 42.2,GPT-5.6-sol 41.7,Qwen3.5-27B…
  • 依赖距离由 1 轮增至至少 5 轮时,全部受测模型平均准确率从 30.2% 降至 23.1%;替换为正确答案后表现明显改善。

为什么值得看

视频助手能否接住前文,是持续追问场景的关键短板

适合谁关注

关注多模态大模型评测与视频对话应用的研究者和开发者

原始来源

查看收录日 2026.11.21 全部卡片 · 全部卡片归档