PSSA：用 Rust 从零手写的非 Transformer 语言模型
2026.09.30 · 产品 · 开源项目 · 开源项目
一个不依赖任何 ML 框架的循环状态空间模型，同参数量下学习更快、CPU 生成更快。
PSSA 是一个非 Transformer 的小型语言模型，通过循环状态空间层逐 token 读文本，维护可查询的情景记忆库，并在运行中改写自身部分权重。它用 Rust 从零手写，底层没有 PyTorch、TensorFlow 或任何 ML 框架。在匹配参数和同一语料下，它比 Transformer 学得更快，在同一 CPU 上生成文本也更快。
- 非 Transformer：循环状态空间层逐 token 处理文本
- 维护情景记忆库，运行中改写自身部分权重
- Rust 从零手写，无 PyTorch/TensorFlow 等框架
- 同参数量同语料下学习快于 Transformer
- 成本随序列长度线性增长，而非平方
为什么值得看
了解一种绕开 Transformer 与主流框架的模型实现路径。
适合谁关注
关注模型架构、Rust 系统编程与从零实现的人。