别再搞 FP4 推理引擎了：小模型 4-bit 量化输出完全崩坏
2026.09.20 · 观点 · 社区热议 · 社区热议
社区频繁发布仅支持 FP4 的推理引擎，作者警告小模型量化后质量严重下降，易产生幻觉。
Reddit 用户发帖批评社区频繁出现仅支持 NVFP4/MXFP4 的推理引擎，认为这类优化只提升速度却严重损害输出质量，尤其对小模型影响致命，可能导致 1+1=3 这类错误。作者指出标准 Q4 量化会保留敏感张量精度，而这些引擎将一切量化到 FP4，虽快但质量大幅下降。
- FP4 引擎仅适合大模型，小模型量化后质量崩坏
- 标准 Q4 量化保留敏感张量精度，FP4 全量化损害大
- 引擎多基于 llama.cpp 等 fork，全量化至 FP4 提速但伤质量
- 作者建议使用 unsloth 的 Q4_K_M/XL 量化
为什么值得看
揭示 FP4 推理引擎的隐性质量代价，避免开发者盲目追求速度。
适合谁关注
关注模型量化与推理优化的开发者、AI 工程师。