llama-modchip:纯 64GB CPU 跑 284B DeepSeek-V4-Flash,无需 GPU

2026.11.08 · 收录日 2026.11.08 · 产品 · 开源项目 · 开源项目

开源项目让 284B 大模型在 64GB 内存纯 CPU 上以 44.4 tok/s 预填充运行。

开源项目 llama-modchip v2.4.0 发布,可在纯 64GB 内存 CPU(无 GPU)上运行 284B DeepSeek-V4-Flash,预填充达 44.36 tok/s,解码 9.06–14.7 tok/s。项目还支持 Qwen3-30B-A3B、Nemotron-H-8B 等模型,并针对 AMD Zen 5、Apple Silicon、ARM64 等平台做了专项优化。

  • 284B DeepSeek-V4-Flash 在 64GB Zen 5 CPU 上预填充 44.36 tok/s,解码 9.06–14.7 tok/s,0 GPU
  • 采用 Register-Stationary AVX-512 MQA8 FlashAttention 与 AVX-512 quantize_row_q8_K 优化
  • L2-Quadrature MoE 剪枝 + L1-Local Gate-First SwiGLU 实现 10.74 tok/s 解码
  • 支持 Qwen3-30B-A3B 与 Qwen3-14B,Norm-Preserving Dynamic MoE Top-K 提升解码 38.5%
  • 覆盖 AMD Zen 5/4、Apple Silicon、ARM64、Intel/AMD+NVIDIA 混合等多平台优化

为什么值得看

纯 CPU 跑 284B 大模型,大幅降低本地部署硬件门槛。

适合谁关注

本地大模型部署爱好者、无 GPU 的开发者、边缘计算从业者。

原始来源

查看收录日 2026.11.08 全部卡片 · 全部卡片归档