Show HN:用约200行纯 JAX 复现 DeepSeek V3

2026.11.14 · 收录日 2026.11.15 · 模型 · 开源项目 · 开源项目

开发者用190行纯 JAX 实现 DeepSeek V3 架构,在 MacBook Air 上从零预训练

开发者 Vaibhaav-Tiwari 用 190 行纯 JAX 复现了 DeepSeek V3 架构,包含 MLA、DeepSeekMoE、无辅助损失均衡和 MTP,不用 Flax、Equinox 或 PyTorch。模型在 MacBook Air 上从零预训练,参数 36.2M、每 token 激活 13.6M,训练约 2.6 小时,验证损失从 5.02 降至 3.51。作者强调这是架构演示,不是强语言模型。

  • 用 190 行纯 JAX 实现 DeepSeek V3 架构,参数为普通数组字典,无 Flax、Equinox、PyTorch
  • 包含 MLA(每 token 每层缓存 480→144 个数字)、解耦 RoPE、DeepSeekMoE(1 共享+16 路由专家,top-4)
  • 无辅助损失均衡通过每专家偏置调整路由,开启与关闭时 step 2000 验证损失相同(3.921 vs 3.923)
  • 在 MacBook Air M5(24 GB)上训练 12,000 步、约 98M token、约 2.6 小时,速度约 10.7k token/s
  • v1.0 发布提供精确 checkpoint 和训练数据,需 Apple Silicon Mac、Python 3.12 和 uv 复现

为什么值得看

用极简代码看清 DeepSeek V3 各组件如何落地

适合谁关注

想读懂大模型架构与 JAX 实现的开发者

原始来源

查看收录日 2026.11.15 全部卡片 · 全部卡片归档