字节级大模型改造：用不到1%预训练预算把子词模型升级到字节级
2026.10.11 · 观点 · 论文 · 论文预印本
新方法以极少训练量把现有子词模型改造成字节级模型，性能接近主流水平
研究提出「byteification」两阶段转换法，把已有的子词级大模型改造成直接处理 UTF-8 字节的模型，仅需不到 1% 的典型预训练预算（49.1B tokens）。改造后的模型在字符级推理任务上表现突出，性能超过早期字节级模型，并接近最先进子词级模型。
- 提出 byteification 两阶段转换法，改造现有子词模型
- 仅用不到1%典型预训练预算，即49.1B tokens
- 字节级模型在字符级推理任务上表现优异
- 可复用原模型生态，实现实用推理速度
- 打破字节级语言建模长期存在的性能壁垒
为什么值得看
字节级建模长期落后于子词方案，这次用极低改造成本追平
适合谁关注
大模型研究者、NLP 工程师、代码与生物序列建模从业者