Cartesia 详解 H-Nets:用分层网络取代分词,语言建模算力效率最高提升 10 倍

2026.10.29 · 收录日 2026.10.29 · 观点 · 论文 · 官方发布

Cartesia 公布 H-Nets 扩展结果:1 阶段版本靠学习式分词省 3-5 倍算力,2 阶段版本以 10 倍更…

Cartesia 发布两篇系列文章的第一篇,介绍分层网络(H-Nets)的扩展规律与定性行为。团队用受控实验证明,1 阶段 H-Nets 仅靠学习式分词即可获得 3-5 倍算力效率提升;更灵活的 2 阶段 H-Net 以 10 倍更少的算力和数据超过同级开源模型,并展现出上下文内分词等新行为。

  • H-Nets 在模型内部动态完成分块,取代把字节预处理成固定 token 的分词器,且端到端分层进行。
  • 受控对比显示,1 阶段 H-Nets 仅通过学习式分词就带来最高 3-5 倍的算力效率提升。
  • 2 阶段 H-Net 在扩展实验中超过同级开源模型,算力与数据用量少 10 倍。
  • H-Nets 展现出语言模型中此前未见的新行为,例如上下文内分词。
  • 研究还延伸到生物学与视觉领域,被视为可跨模态的通用架构方向。

为什么值得看

了解「苦教训」路线下,取代分词器能带来多大效率红利。

适合谁关注

关注 LLM 架构、分词与扩展规律的研究者和工程师。

原始来源

查看收录日 2026.10.29 全部卡片 · 全部卡片归档