提速10.7倍！这个端侧推理引擎一开源，机器人本体跑大模型终于不卡了
2026.09.29 · 产品 · 开源项目 · 开源项目
清华联合无问芯穹、上海交大开源APXInf，让具身模型在机器人本体上实时推理。
清华大学联合无问芯穹与上海交通大学开源端侧推理引擎APXInf，面向具身模型。在Thor芯片FP8配置下，无需改动π0.5模型，推理延迟从278ms降至26ms，端到端提速约10.7倍，达38.46Hz实时区间。
- Thor FP8下延迟从278ms降至26ms，提速约10.7倍
- Orin优化阶梯从1300ms降至119ms，提升超10.9倍
- LIBERO-10评测成功率92.2%，接近π0.5的92.4%
- 推理框架主体用Rust开发，强化内存与并发安全
- 已适配π0-fast、GR00T与Qwen Drive
为什么值得看
端侧推理是具身大模型落地的关键瓶颈，该引擎给出可复用方案。
适合谁关注
具身智能、机器人本体与端侧推理方向的开发者与从业者。