DiffusionGemma Technical Report：基于离散扩散的大语言模型
2026.08.21 · 事件 · 论文预印本 · 论文预印本
DiffusionGemma 团队推出开源权重语言模型 DiffusionGemma，利用离散扩散实现极速文本生成。
DiffusionGemma 团队发布了 DiffusionGemma 技术报告，这是一种利用离散扩散以极高速度生成文本的实验性开源权重语言模型。它通过并行迭代精炼 256 个标记的区块，摆脱了传统自回归模型的顺序解码瓶颈，在单张 NVIDIA H100 GPU 上实现了约 1,500 个输出标记每秒的生成速度。
- 基于混合专家模型 Gemma 4 微调而来，包含 3.8B 激活和 25.2B
- 采用两阶段训练管道，计算效率高，耗费的训练标记预算少于原模型的 10%。
- 单张 NVIDIA H100 GPU 上每秒可生成约 1,500 个输出标记。
- 保留了对思考模式、多模态输入和长上下文的支持。
为什么值得看
展示了扩散模型在大语言模型文本生成速度上的突破与应用潜力。
适合谁关注
AI 研究人员、大模型开发者及自然语言处理领域从业者