LookAtMyQuant 量化编译器:Inkling-2-Mini 压到 5.4 GB

2026.11.22 · 收录日 2026.11.22 · 模型 · 开源项目 · 开源项目

开源量化编译器用 trellis 码与逐行比特分配,把大模型压到极低比特并保持精度。

LookAtMyQuant 是一个量化编译器,先测量每块权重被压缩后对输出的损害,再为每块选码,使整模型在给定体积预算下损伤最小。在 Gemma 4 E2B 上,其 GGUF 在相同文件体积下 KL 比 Q4_K_M 低 12 倍,代码以 MIT 许可开源。

  • LookAtMyQuant 按权重对输出的损害分配比特,在体积预算内最小化损伤。
  • Gemma 4 E2B 上其 GGUF 在相同体积下 KL 比 Q4_K_M 低 12 倍。
  • Qwen3.5-4B 压到 1.23 GB、2.3 比特/权重,540 道数学题解出 330 道。
  • Qwen3.8-27B 从 53.7 GB 压到 7.2 GB、2.1 比特/权重,540 道数学题解出 401 道。
  • Inkling-2-Mini 压到 5.38 GB 与 8.87 GB,配 Apple Silicon Metal 内核运行。

为什么值得看

看极低比特量化如何在同体积下把精度损失压得更低。

适合谁关注

关注模型量化、本地推理与 Apple Silicon 部署的开发者。

原始来源

查看收录日 2026.11.22 全部卡片 · 全部卡片归档