Cerebras 如何用 59 片晶圆部署 3 万亿参数 Kimi K3
2026.10.25 · 产品 · 技术解读 · 官方发布
Cerebras 详解用 59 片 WSE-3T 晶圆跑 3 万亿参数模型，速度达每秒 1000-2000+…
Cerebras 发文说明如何在晶圆级芯片上部署万亿参数前沿模型：单片 WSE-3T 仅 44 GB 片上内存，而万亿参数模型权重需数 TB。以开源模型 Kimi K3（约 3 万亿参数、69 层线性注意力 + 24 层稠密层）为例，采用 4-bit 权重与 8-bit KV 缓存，共需 59 片晶圆，可跑到每秒 1000-2000+ token。
- 单片 Cerebras WSE-3T 晶圆有 44 GB 片上内存，而万亿参数模型权重需数 TB，必须跨多片晶圆切分模型。
- Kimi K3 约 3 万亿参数，含 69 层线性注意力层和 24 层稠密层，4-bit 量化后每层约 16 GB。
- 稠密层每片晶圆放 1 层以留出 KV 缓存空间，线性注意力层每片放 2 层，共 35 + 24 = 59 片晶圆。
- 晶圆间以流水线方式连接，仅激活值经 RDMA over Ethernet 传递，每跳约 2 微秒，权重基本不移动。
- 整个流水线同时处理不同请求，在途请求数约为流水线级数乘以微批大小；微批越小单请求越快，越大总吞吐越高。
为什么值得看
看清万亿参数模型如何靠晶圆级芯片与流水线并行跑出高吞吐
适合谁关注
关注大模型推理基础设施与芯片架构的工程师和从业者