StartLux-Prism：在 NVIDIA GPU 上为 StartLux-Decision 提供快速精确推理

2026.10.23 · 产品 · 开源项目 · 开源项目

新开源推理引擎，int8 下比官方 FP8 引擎快 3.38 倍

StartLuxLabs 开源 StartLux-Prism，为 StartLux-Decision v1 与 v1.1 AutoThink（4B、9B、27B）提供快速精确推理，直接读取已发布的 GGUF 文件，支持 Ampere 到 Blackwell 的单卡或多卡。在单张 H200 上，int8 相比官方 FP8（vLLM 0.31）引擎，视频理解任务快 3.38 倍，八卡可达 238 请求/秒。