日均6万亿Token服务背后，商汤大装置如何提升推理效能？
2026.10.19 · 观点 · 行业动态 · 媒体报道
商汤大装置披露异构推理实践：PD分离、跨域PD分离与AF分离，日均Token服务量达6万亿。
商汤大装置副总裁、CTO宣善明在CSDI Summit演讲中介绍，Agentic时代Token需求呈千倍级增长，AI基础设施需从规模扩张转向效率优化。商汤通过PD分离与异构混合调度构建万卡级异构推理集群，特定测试配置下整体Token吞吐量可提升至原来的5倍，目前平台日均Token服务量已达6万亿。
- Agentic时代Token需求呈千倍级增长，算力供给受限
- PD分离让国产算力承担Prefill、高阶GPU承担Decode
- 临港AIDC构建万卡级异构推理集群，融合多种网络规格
- 特定测试配置下整体Token吞吐量可提升至原来的5倍
- 平台日均Token服务量已达6万亿，探索Token工厂模式
为什么值得看
了解大模型推理基础设施如何应对Token千倍增长与算力约束。
适合谁关注
AI基础设施从业者、大模型工程与运维团队。