Claude自写推理引擎!等AI回第一个字,12秒砍到半秒

2026.11.21 · 收录日 2026.11.21 · 模型 · 论文 · 论文预印本

CMU与NVIDIA的Singularity-Bench测试中,Claude自研推理引擎首token延迟远低于…

卡内基梅隆大学、NVIDIA等机构发布《Singularity-Bench》预印本,让Claude Opus 5.5在4张GB300上用Claude Code自写推理引擎。回放16路真实编程会话时,其P90首token延迟为0.478秒,SGLang为12.029秒;六项任务中Claude以五胜一平拿下1.252分,成为唯一超过人类基线的组合。

  • Claude自研推理引擎P90首token延迟0.478秒,SGLang为12.029秒,两者缓存命中率均约96%、生成速度接近。
  • 引擎按剩余计算量排队,把大请求切块,并叠加投机解码与GPU操作合并,每GPU每秒多处理19%未缓存token。
  • 相同回放时限内SGLang完成705个请求,Claude引擎完成983个,每GPU小时模拟收入从8.18美元升至11.52美元。
  • Singularity-Bench六项任务中,Claude Opus 5.5配Claude Code以五胜一平得1.252分,第二名GPT-6.1 Sol配Codex得0.969分。
  • 仅开发阶段API调用,Opus 5.5花费425.41美元,约为第二名GPT-6.1 Sol(84.52美元)的5倍。

为什么值得看

看AI自写推理引擎如何把首token等待从12秒压到半秒。

适合谁关注

关注推理引擎、AI编程与智能体工程能力的开发者。

原始来源

查看收录日 2026.11.21 全部卡片 · 全部卡片归档