gzip 也能当语言模型？用压缩器做文本生成实验
2026.09.22 · 观点 · 技术实验 · 社区热议
作者用 gzip 的 DEFLATE 算法做语言建模，通过束搜索生成文本，效果超出预期。
作者受《Language Modeling is Compression》启发，尝试用 gzip 的 DEFLATE 算法进行语言建模，无需神经网络或训练参数。通过将语料库放入压缩窗口，并用束搜索选择压缩率最高的续写，生成的文本虽不连贯，但显示出对原文的一定理解，效果远超预期。
- 用 gzip 的 DEFLATE 做语言建模，无神经网络
- 压缩即预测，压缩率可作续写评分
- 束搜索解决量化噪声，提升生成质量
- 生成文本不连贯但明显理解原文结构
- 代码为纯标准库 Python，仅用 zlib
为什么值得看
探索压缩算法与语言模型的等价性，思路新颖。
适合谁关注
对非神经网络语言模型感兴趣的开发者与研究者。