Cartesia 详解 H-Nets:用分层网络取代分词,语言建模算力效率最高提升 10 倍
2026.10.29 · 收录日 2026.10.29 · 观点 · 论文 · 官方发布
Cartesia 公布 H-Nets 扩展结果:1 阶段版本靠学习式分词省 3-5 倍算力,2 阶段版本以 10 倍更…
Cartesia 发布两篇系列文章的第一篇,介绍分层网络(H-Nets)的扩展规律与定性行为。团队用受控实验证明,1 阶段 H-Nets 仅靠学习式分词即可获得 3-5 倍算力效率提升;更灵活的 2 阶段 H-Net 以 10 倍更少的算力和数据超过同级开源模型,并展现出上下文内分词等新行为。
- H-Nets 在模型内部动态完成分块,取代把字节预处理成固定 token 的分词器,且端到端分层进行。
- 受控对比显示,1 阶段 H-Nets 仅通过学习式分词就带来最高 3-5 倍的算力效率提升。
- 2 阶段 H-Net 在扩展实验中超过同级开源模型,算力与数据用量少 10 倍。
- H-Nets 展现出语言模型中此前未见的新行为,例如上下文内分词。
- 研究还延伸到生物学与视觉领域,被视为可跨模态的通用架构方向。
为什么值得看
了解「苦教训」路线下,取代分词器能带来多大效率红利。
适合谁关注
关注 LLM 架构、分词与扩展规律的研究者和工程师。
