AI for AI 的下一关:能否自主规划实验,发现 Scaling Law?
2026.10.31 · 收录日 2026.10.31 · 事件 · 论文 · 论文预印本
新基准让 AI 自己花钱买实验,8 个前沿模型成绩全部下滑
香港中文大学(深圳)、香港大学、清华、北大团队发布 SLDBench v2,新增 Active 设定:AI 需在真实训练记录构成的标价实验目录中自主选择实验并总结 Scaling Law。8 个前沿模型一旦自主选实验,预测误差扩大到原来的 1.5 至 4.7 倍;表现最好的 Claude Opus 5.5 仅用全量实验 4% 的成本,预测精度超过经典幂律公式用全部数据拟合的结果。
- SLDBench v2 新增 Active 设定:AI 只能看到实验目录与价格,结果隐藏,需自己决定买哪些实验、边买边改公式并决定何时停止
- 评测 8 个前沿系统,Passive 设定下 R² 中位数都在 0.723 到 0.753 之间,Active 设定下差距扩大到 0.33,排名洗牌
- Claude Opus 5.5 实验成本中位数仅 4.01%,R² 中位数 0.570 为最高;经典幂律公式用全部数据也只有 0.455
- 失败案例:DeepSeek V4 Pro 在 14 个组每组只买两个小规模点并套用同一幂指数,这 14 组贡献了 96.4% 的测试误差
- Opus 的购买方式:买下的候选实验占比最少(21.5%),昂贵实验集中在后期,同任务重复 3 次结果最稳定
为什么值得看
看清当前 AI 自主规划实验的能力边界
适合谁关注
关注 AI for AI、Scaling Law 的研究者与工程师
