HPC-Ops × SGLang:腾讯混元开源高性能 Attention、Router GEMM 与 MoE 算子

2026.08.08 · 产品 · 开源项目 · 官方发布

腾讯开源的高性能算子库HPC-Ops已正式集成至SGLang主分支。

腾讯混元开源的算子库 HPC-Ops 已正式集成至 SGLang 主分支,带来 Dynamic Attention、Router GEMM 与 Fused MoE 等核心算子。在 Hy3 模型上验证显示,该集成可最高将 TPOT 降低 48.8%,显著优化大模型推理效率。

  • HPC-Ops核心算子已集成至SGLang主分支
  • 包含Dynamic Attention与Fused MoE等算子
  • 在Hy3模型上最高可将TPOT降低48.8%
  • 针对NVIDIA Hopper GPU进行了优化

为什么值得看

腾讯混元高性能推理算子库开源并集成主流框架,大幅降低大模型TPOT。

适合谁关注

大模型推理工程师、算子优化研究人员、SGLang社区用户

原始来源