Qwen3.8 27B量化基准:4-bit保持性能,1-bit性能崩溃
2026.08.27 · 事件 · 基准测试 · 本人发布
测试显示Qwen3.8 27B的4-bit量化在多个基准上媲美原版,但1-bit量化性能接近随机猜测。
博主对Qwen3.8 27B的GGUF量化版本进行了基准测试,发现4-bit Q4_K_M(17GB)在Terminal-Bench 2.1等基准上与原版BF16表现相当,而1-bit UD-IQ1_S(6.2GB)性能崩溃,接近随机猜测。测试还发现推理努力程度对结果影响显著,2-bit量化性能略有下降但仍可用。
- 4-bit量化性能媲美原版
- 1-bit量化性能崩溃
- 推理努力程度影响大
- 2-bit量化性能略降
- 测试成本约3000美元
为什么值得看
量化选择影响性能与资源,值得关注。
适合谁关注
本地LLM用户和量化技术爱好者