新国立x可灵AI提出DiffusionART:超高效稳定可扩展的Diffusion RL算法,让视频后训练提速10倍以上
2026.10.30 · 收录日 2026.10.30 · 事件 · 论文 · 论文预印本
新算法从目标构造上消除一致性力,无需EMA调参即可稳定训练扩散模型
新加坡国立大学、可灵AI与香港科技大学团队提出在线 Diffusion RL 算法 DiffusionART,支持 ODE 采样且不要求奖励模型可微。在 HunyuanVideo-13B 上,达到 DiffusionNFT 和 Flow-GRPO-Fast 后期平均奖励水平的速度分别快 12.02 倍和 11.72 倍,论文公开当天登顶 Hugging Face Daily Papers 日榜 Top 1。
- DiffusionART 支持 ODE 采样,不要求奖励模型可微,无需额外调参,可适配标量奖励、二值偏好奖励等多种形式
- 分析指出前向与反向速度场差异会带来隐藏的一致性力,是前向 RL 不稳定的根源,双分支只能部分抵消
- EMA 的关键稳定机制是 loss 中的恢复力,而非仅使用 off-policy 数据;恢复力过强又会压制奖励梯度
- 采用 Aggregation-First 先聚合奖励方向再作用于真实去噪 states,配合两次更新与 Trust-region Mask 实现稳定
- 在 Wan2.1-I2V-14B 上达到 MQ=6 用 45.8 GPU hours,Flow-GRPO-Fast 用 220.3 GPU hours,约 4.8× 效率提升
为什么值得看
揭示扩散 RL 不稳定根源,并给出免调参的高效稳定方案
适合谁关注
扩散模型研究者、视频生成后训练工程师
