ORL：单张 RTX 5090 上扩散语言模型跑到 2,788 tokens/s
2026.10.17 · 事件 · 论文 · 本人发布
新方法 ORL 让扩散语言模型并行收敛更快，并开源模型、训练代码与推理引擎
研究团队发布 ORL（On-Policy Residual Learning），让扩散语言模型在不牺牲生成质量的前提下显著加速。配合自研推理引擎 dlmrt，在单张 RTX 5090 上实现 2,788 tokens/s，8× B200 上达 7,708 tokens/s，QwenDLM-4B 端到端吞吐最高提升约 6.9×。模型、训练代码、评测流程与推理引擎均已开源。
- 单张 RTX 5090 达 2,788 tokens/s，8× B200 达…
- QwenDLM-4B 吞吐最高提升约 6.9×，HumanEval 从…
- LLaDA-2.1-mini 仅需 4.2M 自生成 token、36…
- 单 H100 上 QwenDLM-4B+ORL 达 1,298…
- dlmrt 用 CUDA graph 捕获整个去噪循环，比…
为什么值得看
扩散语言模型推理加速的完整开源方案，含引擎与训练代码
适合谁关注
关注本地推理、扩散语言模型与推理优化的开发者