Unsloth 发布 Qwen3.8-27B 动态 V3.1 量化,同尺寸精度提升 5-10%
2026.11.14 · 收录日 2026.11.14 · 模型 · 模型更新 · 官方发布
Unsloth 用 Dynamic V3.1 算法重做 Qwen3.8-27B 的 2bit 至 6bit GGUF…
Unsloth 为 Qwen3.8-27B 发布基于 Dynamic V3.1(预览版)算法的新 GGUFs,在相同体积下多数基准精度提升 5-10%。该模型为 27B 稠密模型,支持视觉与推理、256K 上下文,可在 17GB 内存/显存环境本地运行。3bit UD3 量化因表现与 UD3.1 相当而未更新。
- Qwen3.8-27B 是 27B 稠密模型,具备视觉与推理能力,上下文窗口 256K,可在 17GB RAM/VRAM 上本地运行。
- Dynamic V3.1 让 2bit 至 6bit 多数量化在相同尺寸下精度提升 5-10%,覆盖 Terminal Bench、DeepSWE 等基准。
- 3bit UD3 量化与 UD3.1 表现相当,因此本次未更新;官方称正研发更强的动态量化用于 Qwen4 及后续模型。
- 量化还包含开发者角色支持、Codex 等智能体工具、MTP 加速推理,以及改进嵌套对象解析的工具调用。
- Unsloth 称 GSQ-RCO 的对比结果有误导性:其 AIME25 仅 1 次试验,而 Unsloth 做了 14 次,平均恢复率为 93%-96%。
为什么值得看
想本地跑 27B 多模态模型的人,可关注这次量化精度提升。
适合谁关注
本地部署大模型的开发者与量化爱好者。
