AI for AI 的下一关:能否自主规划实验,发现 Scaling Law?

2026.10.31 · 收录日 2026.10.31 · 事件 · 论文 · 论文预印本

新基准让 AI 自己花钱买实验,8 个前沿模型成绩全部下滑

香港中文大学(深圳)、香港大学、清华、北大团队发布 SLDBench v2,新增 Active 设定:AI 需在真实训练记录构成的标价实验目录中自主选择实验并总结 Scaling Law。8 个前沿模型一旦自主选实验,预测误差扩大到原来的 1.5 至 4.7 倍;表现最好的 Claude Opus 5.5 仅用全量实验 4% 的成本,预测精度超过经典幂律公式用全部数据拟合的结果。

  • SLDBench v2 新增 Active 设定:AI 只能看到实验目录与价格,结果隐藏,需自己决定买哪些实验、边买边改公式并决定何时停止
  • 评测 8 个前沿系统,Passive 设定下 R² 中位数都在 0.723 到 0.753 之间,Active 设定下差距扩大到 0.33,排名洗牌
  • Claude Opus 5.5 实验成本中位数仅 4.01%,R² 中位数 0.570 为最高;经典幂律公式用全部数据也只有 0.455
  • 失败案例:DeepSeek V4 Pro 在 14 个组每组只买两个小规模点并套用同一幂指数,这 14 组贡献了 96.4% 的测试误差
  • Opus 的购买方式:买下的候选实验占比最少(21.5%),昂贵实验集中在后期,同任务重复 3 次结果最稳定

为什么值得看

看清当前 AI 自主规划实验的能力边界

适合谁关注

关注 AI for AI、Scaling Law 的研究者与工程师

原始来源

查看收录日 2026.10.31 全部卡片 · 全部卡片归档