智源推出跨领域评测视频物理基准悟界·PhysCapBench
2026.11.17 · 收录日 2026.11.17 · 模型 · 评测基准 · 官方发布
首个跨领域视频物理描述评测基准发布,含1500段视频与七维度打分体系
逆矩阵联合智源研究院、北大等推出首个跨领域视频物理描述评测基准悟界·PhysCapBench,覆盖第三人称场景、第一人称操作与手持夹爪示范三类数据共1500段视频。它从七个维度衡量Caption对运动、接触、形变、状态变化等物理信息的覆盖与保真,并经视频生成与机器人策略实验验证下游价值。
- 覆盖第三人称场景、第一人称操作、手持夹爪示范三类数据,各500段、共1500段视频纳入同一评价体系
- 七维度评价体系分别检查动作过程、接触关系、状态变化及其时序,每维度单独打分再汇总综合得分
- 参考描述基于连续视频证据构建,由七名专业标注人员执行标注与质检
- 下游实验显示:视频生成LPIPS最高降30.88%,机器人策略成功率提升7.5个百分点
- 对比PhysBench:评测对象为描述文本(数据侧),而非模型本身的物理常识问答能力
为什么值得看
物理AI基模的数据优化首次有了统一量尺
适合谁关注
多模态与具身智能研究者、数据标注与训练团队