OpenArch：从零手写 PyTorch 实现 Llama、Qwen、DeepSeek 等现代 LLM 架构
2026.09.14 · 产品 · 开源项目 · 开源项目
开源仓库 OpenArch 提供多种现代 LLM 架构的从零 PyTorch 实现，注重可读性与学习。
OpenArch 是一个开源仓库，包含多种现代开源 LLM 架构的手写 PyTorch 实现，基于 Sebastian Raschka 的 LLM Architecture Gallery。每个模型以单一可读文件实现，明确标注注意力类型、归一化、位置编码、MoE 等结构选择，旨在清晰与学习而非与生产库竞争。目前已实现 GPT-2、Llama 2/3、DeepSeek R1、Gemma 3…
- 从零手写 PyTorch 实现，注重可读性
- 覆盖 Llama、Qwen、DeepSeek 等 20+ 模型
- 每个模型单一文件，结构选择明确
- 目标为学习，非生产库竞争
- 欢迎贡献，优先可读性
为什么值得看
为学习现代 LLM 架构提供清晰、可对比的从零实现，降低阅读官方代码门槛。
适合谁关注
希望深入理解 LLM 架构细节的研究者、学生和开发者。