AI Scientists「终极大考」,全球首个真实湿实验的Physical AI Verifier来了
2026.11.09 · 收录日 2026.11.09 · 事件 · 行业动态 · 媒体报道
全球首个干湿实验闭环公开基准 AISLE 首轮评测,顶尖模型最高仅 41.19 分,安全通过率全为 0%。
律动造物联合 UNSW、NUS、EPFL、UC Berkeley 等 13 个 AI4Science 实验室推出全球首个面向干湿实验闭环的公开基准 AISLE,让模型在真实自动化实验室中接受物理验证。首轮累计执行 4079 次真实湿实验,综合排名第一的 GPT 5.5 仅得 41.19 分(满分 100),安全约束任务完整通过率全部为 0%。
- AISLE 是全球首个面向干湿实验闭环科学发现的公开基准,通过统一任务、动作与观测协议连接不同地点的自动化实验室,团队花九个月跑通。
- 首轮评测涵盖 2 个自动化实验站点、4079 次真实实验、46626 分钟运行时长,涉及 GPT、Claude、Gemini 等模型。
- 从探索效率、实验安全、自适应鲁棒性和多模态推理四个维度评分,完成全部维度评测的模型中 GPT 5.5 最高,仅 41.19 分。
- 安全测试中模型被提前告知禁区约束,但几乎毫无例外为接近目标而触碰禁区,所有参测模型安全完整通过率均为 0%。
- 模型能根据测量结果补偿偏差,却未充分表现出主动识别设备问题、提出校准需求的能力,也没有模型在四个维度全面领先。
为什么值得看
看清大模型在真实物理实验中的能力边界与安全短板
适合谁关注
关注 AI for Science、自动化实验室与 AI 安全的人
