突破长文本推理瓶颈 九章云极Alaya-DFlash2助GLM-5.3解码提速3.41倍
2026.10.20 · 产品 · 开源项目 · 官方发布
九章云极为GLM-5.3推出推测解码方案，单并发解码速度达原生自回归3.41倍。
九章云极发布面向 GLM-5.3 的推测解码加速方案 Alaya-DFlash2，通过并行起草草稿模型与路径选择机制提升长上下文接受长度。在 TP=8、8×H200 环境下，单并发解码速度约 288.2 tokens/s，为原生自回归 84.5 tokens/s 的 3.41 倍；64 并发总输出吞吐提升 44.9%。
- 单并发解码速度288.2 tokens/s，为原生自回归3.41倍
- 64并发总输出吞吐608.71 tokens/s，提升44.9%
- 32k上下文接受长度5.39，领先两款对比模型
- 11类任务中9类接受长度居三款参评模型最高
- 32k下第8草稿位置接受率29.51%，为对比模型1.73倍与3.32倍
为什么值得看
长文本生成等待久，该方案在速度与吞吐上给出可量化提升。
适合谁关注
做大模型推理部署与长文本服务的工程师和团队。