推理提速近3倍!Agent下场调引擎,两周反超人工精调

2026.11.06 · 收录日 2026.11.06 · 产品 · 开源项目 · 媒体报道

至知创新开源IQuest-Q1专用推理引擎IQuestRT,单请求解码吞吐达vLLM参考配置2.94倍。

至知创新研究院发布并开源面向IQuest-Q1的专用推理优化引擎IQuestRT,在8卡GPU单请求下实现910.70 tokens/s解码吞吐,达vLLM参考配置的2.94倍。其优化包括GPU自主控制解码循环、动态投机深度、专家权重预取与NaN标记跨卡同步,AI Agent参与研发,两周即超过此前人工精调流水线。

  • 8卡GPU单请求下IQuestRT解码吞吐910.70 tokens/s,为vLLM参考配置309.83 tokens/s的2.94倍。
  • GPU自主控制解码循环,候选验证、采样、缓存更新与下一轮启动均在GPU内完成,减少主机控制间隔。
  • 动态投机深度策略每轮固定执行前三个预测深度,最多生成七个候选Token,收益不足时停止额外计算。
  • 采用专家权重提前预取与NaN标记跨GPU同步归约,路由融合初版每轮节省88.5微秒。
  • 32个优化检查点使单步延迟从6.449毫秒降至3.526毫秒,累计下降约45.3%。

为什么值得看

看单请求推理如何被系统性优化,以及Agent参与底层研发的新范式。

适合谁关注

推理系统工程师、大模型基础设施与Agent研发人员。

原始来源

查看收录日 2026.11.06 全部卡片 · 全部卡片归档