编程智能体指挥机器人,该怎么考?1156个任务、三种考法,把失败定位到每一步

2026.11.22 · 收录日 2026.11.22 · 事件 · 论文 · 论文预印本

8所高校团队推出EFE,用统一框架评测编程智能体控制仿真机器人的能力。

西北大学、卡内基梅隆大学等 8 所高校团队搭建 Embodied First Exam(EFE),用同一套框架考编程智能体控制仿真机器人。共 1156 个任务、35 个任务集、47 款机器人,每个任务最多三种模式,并可通过任务图把失败定位到具体阶段。

  • EFE 只规定结果、不规定做法,同一道题最多分特权、标准、实时三种模式考,条件逐级收紧。
  • 共 1156 个任务、35 个任务集、47 款机器人,团队从中选出 456 个高难度任务作为核心集,评测 10 个编程智能体。
  • 标准模式下 22 个任务集里有 7 个至少一半测试无人解出;特权模式下 20 个任务集里只有 HumanoidBench 一个。
  • 精细阶段受条件收紧影响更大:组装、对准位姿等失败率上升 19 至 51 个百分点,放置、抓取等粗略阶段 9 类中有 7 类只上升 3 至 18 个百分点。
  • EFE 为 427 个核心任务各写一张任务图,把任务拆成阶段,定位每次失败发生在哪一步。

为什么值得看

看清编程智能体控制机器人的真实能力边界与失败原因。

适合谁关注

关注具身智能、机器人评测和 AI 智能体的研究者与开发者。

原始来源

查看收录日 2026.11.22 全部卡片 · 全部卡片归档