HuggingFace 扩展 transformers 的 GGUF 支持：新增 serve 命令、微调与基准测试
2026.09.22 · 产品 · 功能更新 · 官方发布
新增 serve 命令、微调支持及基准测试，性能接近 llama.cpp。
HuggingFace 在 transformers 中集成 GGUF 模型支持，用户可通过熟悉的 API 加载并运行量化模型。新增 transformers serve 命令，可暴露 OpenAI 兼容 API，并支持通过 GgufConfig(dequantize=True) 进行微调。基准测试显示，在多个检查点上性能接近 llama.cpp，且计划将 ggml 内核扩展到其他模态。
- 支持 GGUF 模型在 transformers 中运行
- 新增 transformers serve 命令，提供 OpenAI 兼容 AP
- 支持从 GGUF 检查点微调模型
- 基准测试显示性能接近 llama.cpp
- 计划扩展 ggml 内核到其他模态
为什么值得看
降低本地运行大模型门槛，提升 transformers 生态兼容性。
适合谁关注
HuggingFace 团队