有人在 Qwen 3.5-4B 权重里编译出 NPU,跑起 Karpathy 的 stories260k
2026.11.01 · 收录日 2026.11.01 · 事件 · 开源项目 · 本人发布
开发者把 NPU 编译进 Qwen 权重,让另一个 LLM 在 LLM 内部运行。
开发者 divagr18 发布 QwenPU 项目,把 Karpathy 的 stories260k 这个 LLM 跑在编译进 Qwen 3.5-4B 权重里的 NPU 上。该 NPU 做矩阵乘法、softmax 和注意力且 bit-exact,LLM 权重存在 Qwen 自身内存中,无需外部工具。作者称正优化速度与体积,完整博客尚未完成。
- QwenPU 让 Karpathy 的 stories260k 运行在 Qwen 3.5-4B 权重内编译的 NPU 上
- stories260K 本身只是一个 C 程序,被编译进 Qwen 权重中运行
- 该 NPU 做矩阵乘法、softmax 和注意力,且保持 bit-exact
- LLM 权重存放在 Qwen 自身内存里,不依赖任何外部工具
- 作者称已投入大量工作提升速度,并正在做优化和体积缩减
为什么值得看
LLM 里跑 LLM 的极端实验,展示权重可承载完整计算栈。
适合谁关注
关注 LLM 底层机制、权重计算与嵌入式推理的开发者。
