Qwen3.8-Flash-Next 登陆 MLX-serve，支持 1M 上下文
2026.09.09 · 产品 · 开源项目 · 本人发布
MLX-serve 新增 Qwen3.8-Flash-Next 引擎，实现 1M 上下文高效推理。
MLX-serve 联合创建者发布了 Qwen3.8-Flash-Next 引擎支持，通过 8 位 KV 缓存和混合量化（稠密层 8 位、专家层 4 位），在 M5 Max 128GB 上实现 1M 上下文推理，生成速度约 40 tok/s（散文）和 75 tok/s（编码）。
- 支持 1M 上下文，KV 缓存 8 位
- M5 Max 128GB 上运行
- 散文约 40 tok/s，编码约 75 tok/s
- 混合量化：稠密 8 位、专家 4 位
- 峰值内存约 117GB
为什么值得看
长上下文推理性能与质量兼顾，值得关注。
适合谁关注
关注大模型长上下文部署的开发者。