210M 参数文生图扩散 Transformer：单卡 3.5 天从零训练
2026.09.10 · 事件 · 开源项目 · 本人发布
开发者用单张 RTX PRO 6000 从零训练 210M 参数文生图模型，并开源全部代码与权重。
开发者 Ivan Mikhnenkov 从零构建并训练了一个 210M 参数的扩散 Transformer，使用 4.2M 张精选图像和 FLUX.2 VAE，在单张 RTX PRO 6000 上耗时 3.5 天。训练中采用 rectified flow、flan-t5-base 文本编码器，并发现 torch.compile…
- 单卡 3.5 天训练 210M 参数模型
- 使用 4.2M 精选图像和 FLUX.2 VAE
- torch.compile 加速 2.4 倍
- 注册 token 吸收 90% 交叉注意力
- 开源代码、权重和详细记录
为什么值得看
展示从零训练扩散 Transformer 的可行路径与关键技巧。
适合谁关注
对扩散模型训练、资源受限环境下的生成模型研究者。