Google 与 Artificial Analysis 推出 MKA 多模态知识智能体基准

2026.11.10 · 收录日 2026.11.10 · 模型 · 新基准 · 官方发布

新基准用 200 个真实视觉任务评测智能体处理复杂文件的能力

Google DeepMind 与 Artificial Analysis 合作推出 MKA(Multimodal Knowledge Agent)基准,用于评测智能体在视觉复杂文件上的推理与知识工作能力。评测集由 10 个垂直领域、83 种职业的专家打造,共 200 个任务,每个任务配约 70 条专家评分项,75% 看事实准确性、25% 看视觉设计。

  • MKA 由 Google DeepMind 与 Artificial Analysis 联合开发,评测智能体跨视觉复杂文件完成真实知识工作
  • 评测集含 200 个任务,覆盖 10 个垂直领域、83 种职业,由领域专家编写
  • 每个任务配约 70 条 yes/no 专家评分项,权重 75% 事实准确性、25% 视觉设计
  • 所有模型在开源智能体框架 Stirrup 中运行,工具、沙箱和轮次预算一致
  • 专家人工评分与自动评分器一致率 96%,另在 Hugging Face 发布 10 个公开任务

为什么值得看

了解智能体处理视觉复杂知识工作的新评测标准

适合谁关注

AI 研究者、智能体开发者、模型评测从业者

原始来源

查看收录日 2026.11.10 全部卡片 · 全部卡片归档