不靠外部裁判,统一多模态模型学会自己「看图改图」:修复成功率提升到3倍,GenEval 0.72→0.84

2026.11.10 · 收录日 2026.11.10 · 模型 · 论文 · 论文预印本

南大、上交与东大提出 UMM-Reflection,用整轨迹强化学习让统一模型自主反思改图。

南洋理工大学、上海交通大学和东京大学研究者提出 UMM-Reflection,在开源统一模型 BAGEL 上用强化学习训练完整的「反思—修改」多轮轨迹,推理时不再需要外部打分器。初始错误图像的修复成功率从 20.6% 提升到 64.9%,GenEval 从 0.72 提升到 0.84,空间位置一项从 0.47 跃升到 0.89。

  • 修复成功率提升到 3 倍以上:初始生成错误的图像中,反思 SFT 模型只能修好 20.6%,强化学习后达到 64.9%。
  • GenEval 提升 12 个点(0.72→0.84):空间位置 0.47→0.89,颜色属性绑定 +14,计数 +10,增益全部来自反思轮次。
  • 迁移到训练中从未见过的基准:WISE 0.63→0.74,T2I-CompBench++ 0.50→0.55,OneIG 0.79→0.83。
  • 同样的 RL 预算直接训练生成器:GenEval 只到 0.76,WISE 甚至低于 Base;UMM-Reflection 在 WISE 上比它高 19.8 个点。
  • 推理时不依赖任何外部批评者或验证器:看图、诊断、修改与停止全部由同一个模型完成。

为什么值得看

看清统一多模态模型如何靠自身完成多轮视觉自我修正。

适合谁关注

多模态模型研究者、文生图开发者与 AI 工程师。

原始来源

查看收录日 2026.11.10 全部卡片 · 全部卡片归档