给 Qwen 模型加 logit 惩罚抑制“wait”“maybe”等词，准确率反而提升
2026.09.28 · 观点 · 技巧 · 社区热议
Reddit 网友在 llama.cpp 上测试 Qwen3.5-4B 多种量化，抑制过度思考词后准确率普涨。
有网友受 Meta 一篇论文启发，在 llama.cpp 中对 Qwen3.5-4B 的多种量化版本施加 logit 惩罚，抑制“wait”“maybe”“perhaps”等过度思考标记词。在 50 道随机 MATH-500 题上，BF16 准确率从 74% 升到 84%，Q8_0、Q4_K_M、Q3_K_M、Q2_K 也均有提升，推理 token 数同时下降。
- 对 Qwen3.5-4B 多种量化施加 logit 惩罚
- 抑制 wait、maybe、perhaps 等过度思考词
- BF16 准确率 74%→84%，推理 token 降 19.4%
- Q8_0 76%→80%，Q4_K_M 60%→66%
- Q3_K_M 52%→66%，Q2_K 12%→24%
为什么值得看
一个低成本提示词层面的改动，就能同时提准确率、降 token。
适合谁关注
本地部署大模型、关注推理效率与量化的开发者。