FP4 W/A+FP4 KV的强化学习也能「又快又稳」：阿里千问提出TRACE，Rollout最高加速5.4倍
2026.10.23 · 事件 · 论文 · 论文预印本
阿里千问提出TRACE，用Rollout侧真实FP4量化结果指导训练侧舍入，让FP4强化学习不崩。
阿里千问联合俄亥俄州立大学提出TRACE，针对FP4 Rollout与训练端量化不一致导致RL训练崩溃的问题，用Rollout侧真实FP4量化结果反向指导训练侧舍入方向。在四个MoE模型上，TRACE把最终性能拉回BF16 Rollout附近，128K输出长度下rollout解码吞吐最高提升5.4×，端到端RL step time仅增加约7.4%开销。
- FP4 Rollout与训练端量化不一致会放大误差，导致RL训练崩溃
- TRACE用Rollout侧真实FP4量化结果指导训练侧舍入方向
- 超过99%的量化不一致只相差一个相邻FP4码点，可紧凑缓存
- 四个MoE模型上性能拉回BF16附近，128K输出吞吐最高5.4×
- Qwen3.5-35B-A3B平均分75.3，BF16为74.9，普通QAT为…
为什么值得看
FP4强化学习长期受训练崩溃困扰，TRACE给出了可落地的对齐方案。
适合谁关注
做大模型强化学习训练与推理优化的研究者和工程师。