tokenizers v1：编码、解码与扩展性能实测，较 v0.23 提升数十倍
2026.09.21 · 产品 · 开源项目 · 官方发布
HuggingFace 发布 tokenizers v1 候选版，性能大幅提升，旨在避免 GPU 空闲等待。
HuggingFace 发布 tokenizers v1 候选版，通过重构分词流程，性能较 v0.23 提升数十倍。v1 保持输出、API、词汇表和合并排名不变，但优化了正则拆分、合并循环等环节，并支持多线程编码。
- 性能较 v0.23 提升数十倍
- 保持输出、API、词汇表不变
- 采用位流和 SIMD 替代正则
- 支持多线程共享编码器
- 发布候选版并开源基准测试
为什么值得看
分词器性能瓶颈影响大规模训练和推理，v1 优化可显著提升效率。
适合谁关注
使用 HuggingFace tokenizers 的开发者、ML 工程师和研究人员。