有人在 Qwen 3.5-4B 权重里编译出 NPU,跑起 Karpathy 的 stories260k

2026.11.01 · 收录日 2026.11.01 · 事件 · 开源项目 · 本人发布

开发者把 NPU 编译进 Qwen 权重,让另一个 LLM 在 LLM 内部运行。

开发者 divagr18 发布 QwenPU 项目,把 Karpathy 的 stories260k 这个 LLM 跑在编译进 Qwen 3.5-4B 权重里的 NPU 上。该 NPU 做矩阵乘法、softmax 和注意力且 bit-exact,LLM 权重存在 Qwen 自身内存中,无需外部工具。作者称正优化速度与体积,完整博客尚未完成。

  • QwenPU 让 Karpathy 的 stories260k 运行在 Qwen 3.5-4B 权重内编译的 NPU 上
  • stories260K 本身只是一个 C 程序,被编译进 Qwen 权重中运行
  • 该 NPU 做矩阵乘法、softmax 和注意力,且保持 bit-exact
  • LLM 权重存放在 Qwen 自身内存里,不依赖任何外部工具
  • 作者称已投入大量工作提升速度,并正在做优化和体积缩减

为什么值得看

LLM 里跑 LLM 的极端实验,展示权重可承载完整计算栈。

适合谁关注

关注 LLM 底层机制、权重计算与嵌入式推理的开发者。

原始来源

查看收录日 2026.11.01 全部卡片 · 全部卡片归档