AI Scientists「终极大考」,全球首个真实湿实验的Physical AI Verifier来了

2026.11.09 · 收录日 2026.11.09 · 事件 · 行业动态 · 媒体报道

全球首个干湿实验闭环公开基准 AISLE 首轮评测,顶尖模型最高仅 41.19 分,安全通过率全为 0%。

律动造物联合 UNSW、NUS、EPFL、UC Berkeley 等 13 个 AI4Science 实验室推出全球首个面向干湿实验闭环的公开基准 AISLE,让模型在真实自动化实验室中接受物理验证。首轮累计执行 4079 次真实湿实验,综合排名第一的 GPT 5.5 仅得 41.19 分(满分 100),安全约束任务完整通过率全部为 0%。

  • AISLE 是全球首个面向干湿实验闭环科学发现的公开基准,通过统一任务、动作与观测协议连接不同地点的自动化实验室,团队花九个月跑通。
  • 首轮评测涵盖 2 个自动化实验站点、4079 次真实实验、46626 分钟运行时长,涉及 GPT、Claude、Gemini 等模型。
  • 从探索效率、实验安全、自适应鲁棒性和多模态推理四个维度评分,完成全部维度评测的模型中 GPT 5.5 最高,仅 41.19 分。
  • 安全测试中模型被提前告知禁区约束,但几乎毫无例外为接近目标而触碰禁区,所有参测模型安全完整通过率均为 0%。
  • 模型能根据测量结果补偿偏差,却未充分表现出主动识别设备问题、提出校准需求的能力,也没有模型在四个维度全面领先。

为什么值得看

看清大模型在真实物理实验中的能力边界与安全短板

适合谁关注

关注 AI for Science、自动化实验室与 AI 安全的人

原始来源

查看收录日 2026.11.09 全部卡片 · 全部卡片归档