incoai 发布 Qwen3.8-Flash-Next-DFlash2 投机解码草稿模型

2026.10.19 · 产品 · 新模型 · 开源项目

DFlash 2 块扩散草稿模型上线,为 Flash-Next 提供无损投机解码加速

Inco AI 发布 DFlash 2 草稿模型,用于 Qwen/Qwen3.8-Flash-Next 的投机解码,本身不是独立语言模型。它采用块扩散方式一次预测一整块 token,并用轻量选择器串出连贯路径,解码无损:贪心输出与目标模型完全一致。在单张 NVIDIA GB300(TP1)上,并发 1 时 GSM8K 吞吐从 205.4 提升到 368.2 tok/s。

  • DFlash 2 是块扩散草稿模型,非独立语言模型
  • 一次预测整块 token,选择器串出连贯路径
  • 解码无损:贪心输出与目标模型完全一致
  • 并发 1 时 GSM8K 吞吐 205.4→368.2 tok/s
  • 模型规模 0.6B 参数,BF16,基座为 Flash-Next

为什么值得看

无损加速投机解码,本地部署大模型推理可参考

适合谁关注

本地部署与推理优化开发者、SGLang 用户

原始来源