incoai 发布 Qwen3.8-Flash-Next-DFlash2 投机解码草稿模型
2026.10.19 · 产品 · 新模型 · 开源项目
DFlash 2 块扩散草稿模型上线,为 Flash-Next 提供无损投机解码加速
Inco AI 发布 DFlash 2 草稿模型,用于 Qwen/Qwen3.8-Flash-Next 的投机解码,本身不是独立语言模型。它采用块扩散方式一次预测一整块 token,并用轻量选择器串出连贯路径,解码无损:贪心输出与目标模型完全一致。在单张 NVIDIA GB300(TP1)上,并发 1 时 GSM8K 吞吐从 205.4 提升到 368.2 tok/s。
- DFlash 2 是块扩散草稿模型,非独立语言模型
- 一次预测整块 token,选择器串出连贯路径
- 解码无损:贪心输出与目标模型完全一致
- 并发 1 时 GSM8K 吞吐 205.4→368.2 tok/s
- 模型规模 0.6B 参数,BF16,基座为 Flash-Next
为什么值得看
无损加速投机解码,本地部署大模型推理可参考
适合谁关注
本地部署与推理优化开发者、SGLang 用户