NeurIPS 2026|AI搜索时搜到的图,为什么用不了?港科大给每张图编了号

2026.11.14 · 收录日 2026.11.14 · 模型 · 论文 · 论文预印本

港科大提出视觉原生智能体框架,给每张图编号让工具接力复用,并用ODE演化出题规则。

港科大MMSense Lab提出视觉原生智能体框架,把原图和工具返回的新图存入同一图像库并各分配独立编号,让后续工具按编号取图。团队还提出On-policy Data Evolution(ODE),让数据合成器根据智能体解题记录调整出题规则。用ODE数据训练后,8B模型八项评测平均准确率从24.9%升至39.0%,30B模型从30.6%升至41.5%。

  • 框架支持九种工具,可检索网页、论文和图片,也能打开来源网页、放大或旋转图片、用Python计算。
  • 原图与工具返回的新图存入同一图像库,每张图有独立编号,后续工具可随时按编号取图。
  • ODE每轮按当前规则出32道题让模型rollout,分析器对照解题记录诊断改进点,通过审核的改动写入下一轮规则。
  • 用于监督微调的示范共8,855条;8B和30B-A3B模型的RL题目各4,000道,覆盖11个主题。
  • MMBC上约四成题目用到先前搜回或裁出的图片,关闭复用时准确率7.59%,保留全部图片时达12.50%。

为什么值得看

看懂多模态搜索中图片无法跨工具复用的痛点及解法。

适合谁关注

关注多模态智能体、AI搜索与强化学习数据合成的研究者和开发者。

原始来源

查看收录日 2026.11.14 全部卡片 · 全部卡片归档