44M参数三值量化LLM：19.8MB、CPU每秒1900 token，从零训练45B tokens
2026.09.15 · 产品 · 开源项目 · 社区热议
开发者训练44M参数三值量化LLM，19.8MB，CPU推理速度约1900 tok/s。
开发者训练了44M参数的SHADOW-50M模型，从零训练45B tokens，采用三值权重，完整模型仅19.8MB，在CPU上运行速度约1900 tok/s。模型内置计算电路和磁盘索引，可离线运行。尽管在标准基准上不如同类模型，但在特定任务上表现更优。
- 44M参数，三值权重，19.8MB
- CPU推理约1900 tok/s
- 内置算术、日期等计算电路
- 磁盘索引，微秒级检索记录
- 标准基准弱于同类，但特定任务强
为什么值得看
展示极小型量化LLM的可行性与创新设计。
适合谁关注
关注模型压缩、边缘AI和高效推理的开发者。