SLM 词表专用化:不改基座模型,实测推理成本降 77%
2026.10.22 · 观点 · 论文 · 论文预印本
Dharma-AI 用 VocabX 重建词表,在葡语作文评分系统上把推理成本砍掉 77%
Dharma-AI 团队在基于 Qwen3-4B 的葡萄牙语作文自动评分系统上,用自研方法 VocabX 重建词表,保持基座模型、数据和训练配方不变,实测推理成本下降 77%。文章指出通用词表在单一领域会造成碎片化和冗余两类浪费,而生成 token 的成本远高于读取 token。
- VocabX 按 token 成本而非词频重建词表
- 葡语作文评分系统实测推理成本降 77%
- 基座模型、数据与训练配方均未改动
- 通用词表带来碎片化与冗余两类浪费
- 生成 token 成本约为读取 token 的 7.4 倍
为什么值得看
词表常被当作固定属性,这里证明它是被忽视的成本杠杆
适合谁关注
做小模型落地、推理成本优化的工程与产品团队