7 块 ESP32-S3 组成集群，跑起 1.58-bit（BitNet）语言模型
2026.09.29 · 产品 · 开源项目 · 开源项目
开源项目用 7 块 ESP32-S3 通过 SPI 菊花链分布式推理 0.5B 大模型。
GitHub 项目 ESP32s3-LLM-Cluster 把 0.5B 大模型切片部署到 7 块 ESP32-S3 上，主节点负责 BPE 分词与 INT4 词嵌入，其余节点各跑 4 层 Transformer 的 1.58-bit 注意力与 MLP，节点间通过高速 SPI 菊花链传递隐藏状态。
- 主节点跑分词、INT4 词嵌入与 LM Head 贪心采样
- 6 个计算节点各承担 4 层 1.58-bit Transformer 块
- 节点间用高速 SPI 菊花链传递 FP32 隐藏状态
- KV Cache 放在 PSRAM，权重用 1.58-bit 三值量化
- 配套 Python 工具做 QAT 微调、INT4 打包与词表裁剪
为什么值得看
在几美元级 MCU 上分布式跑 LLM，展示极端量化与集群推理的可行性。
适合谁关注
嵌入式开发者、边缘 AI 爱好者、量化与推理优化研究者。