不靠外部裁判,统一多模态模型学会自己「看图改图」:修复成功率提升到3倍,GenEval 0.72→0.84
2026.11.10 · 收录日 2026.11.10 · 模型 · 论文 · 论文预印本
南大、上交与东大提出 UMM-Reflection,用整轨迹强化学习让统一模型自主反思改图。
南洋理工大学、上海交通大学和东京大学研究者提出 UMM-Reflection,在开源统一模型 BAGEL 上用强化学习训练完整的「反思—修改」多轮轨迹,推理时不再需要外部打分器。初始错误图像的修复成功率从 20.6% 提升到 64.9%,GenEval 从 0.72 提升到 0.84,空间位置一项从 0.47 跃升到 0.89。
- 修复成功率提升到 3 倍以上:初始生成错误的图像中,反思 SFT 模型只能修好 20.6%,强化学习后达到 64.9%。
- GenEval 提升 12 个点(0.72→0.84):空间位置 0.47→0.89,颜色属性绑定 +14,计数 +10,增益全部来自反思轮次。
- 迁移到训练中从未见过的基准:WISE 0.63→0.74,T2I-CompBench++ 0.50→0.55,OneIG 0.79→0.83。
- 同样的 RL 预算直接训练生成器:GenEval 只到 0.76,WISE 甚至低于 Base;UMM-Reflection 在 WISE 上比它高 19.8 个点。
- 推理时不依赖任何外部批评者或验证器:看图、诊断、修改与停止全部由同一个模型完成。
为什么值得看
看清统一多模态模型如何靠自身完成多轮视觉自我修正。
适合谁关注
多模态模型研究者、文生图开发者与 AI 工程师。
