腾讯发布 Qwen3.8-27B-DSpine-b16 五层草稿模型,块大小 16
2026.11.09 · 收录日 2026.11.09 · 模型 · 新模型 · 开源项目
腾讯开源 DSpine 投机解码草稿模型,用并行草稿提升 Qwen3.8-27B 推理速度
腾讯在 Hugging Face 发布 Qwen3.8-27B-DSpine-b16,这是面向 Qwen3.8-27B 的五层草稿模型,块大小 16、滑动窗口 8,192 token。DSpine 并行生成草稿 token,逐层把预测的前驱特征传给相邻位置,从而在网络深度中携带因果依赖。评测显示其在 GSM8K、MATH-500、HumanEval 等基准上的接受长度普遍高于 DFlash2。
- DSpine 并行生成草稿 token,每层将预测的前驱特征传给相邻位置,在网络深度中传递因果依赖。
- 该 checkpoint 是 Qwen3.8-27B 的五层草稿模型,块大小 16,滑动窗口 8,192 token。
- 评测环境为 SGLang 0.5.22、BF16、FlashAttention 3、并发 8,草稿块 DSpine 16、官方 DFlash2 8。
- 通用基准接受长度:GSM8K 上 DSpine(T=0) 7.20 对 DFlash2 5.69,MATH-500 6.49 对 5.49。
- Agent 端到端吞吐:WorkBuddy Office 低推理下 DSpine 805.53 tokens/s,为自回归的 3.84 倍。
为什么值得看
投机解码草稿模型直接影响大模型推理吞吐
适合谁关注
本地部署与推理优化开发者
