并行推测解码SOTA!因果依赖刻进草稿网络深度,SGLang吞吐最高达4倍,已开源

2026.11.09 · 收录日 2026.11.09 · 事件 · 论文 · 论文预印本

腾讯优图等提出DSpine,把相邻因果依赖注入草稿网络深度,SGLang吞吐最高达自回归4.01倍。

腾讯优图实验室、上海交通大学和厦门大学提出并行推测解码方法 DSpine,核心是“同时起草,逐层接力”,把相邻位置的因果依赖注入草稿网络深度。在 Qwen3-4B 和 Qwen3-8B 上,28 组接受长度评测全部第一,SGLang 服务吞吐较 DSpark 平均提升约 20%,相对标准自回归解码最高实现 4.01 倍加速,代码与权重已开源。

  • DSpine 由腾讯优图实验室、上海交通大学和厦门大学提出,核心思想是“同时起草,逐层接力”,从第 1 层起把前驱预测特征注入后继位置。
  • 实验洞察:紧邻前驱变成有偏差草稿预测时,后继预测准确率平均暴跌 31.8 个百分点;浅层提前注入比延后注入准确率平均高 14.8 个百分点。
  • 在 Qwen3-8B 温度 0 下,七基准平均接受长度从 DFlash2 的 4.39 提升至 4.82;温度 1 下从 DSpark 的 3.92 提升至 4.42。
  • SGLang 端到端服务吞吐:较 DSpark 平均提升 19.0%(8B)和 20.1%(4B),较 DFlash2 平均提升 11.1%(8B),最高 4.01 倍加速。
  • 新训练面向 Agent 的 Qwen3.8-27B DSpine 草稿模型,平均接受长度最高达 5.63,并发 8 下解码吞吐最高达自回归的 3.84 倍,已落地腾讯 WorkBuddy 线上推理业…

为什么值得看

推测解码新SOTA,兼顾并行起草与因果依赖,已开源可落地。

适合谁关注

LLM推理加速研究者、推理引擎与Agent服务开发者。

原始来源

查看收录日 2026.11.09 全部卡片 · 全部卡片归档