别再让计算等着搬权重了！KTransformers让CPU直接参与MoE微调计算
2026.10.16 · 产品 · 开源项目 · 官方发布
清华MADSys与趋境科技提出CPU/GPU协同计算范式，CPU就地算专家，不再搬权重。
清华大学MADSys实验室与趋境科技主导提出KTransformers-FineTune（KT-FT），联合LlamaFactory打造开源微调方案。它让CPU用主存中的权重直接完成MoE专家计算，GPU负责注意力模块，吞吐达到传统卸载范式的2.5～21.2倍。
- 提出CPU/GPU协同计算范式，CPU就地完成MoE专家计算
- KT-FT吞吐达传统卸载范式（如ZeRO-Offload）的2.5～21.2倍
- 语义感知主动布局引擎提前转换布局，降低转换开销
- 动态线程调度器用工作窃取缓解路由倾斜导致的负载不均
- 已作为执行后端接入LlamaFactory，支持LoRA微调与推理一键执行
为什么值得看
显存有限也能微调数千亿参数MoE大模型
适合谁关注
资源受限的研究者、开发者与企业算法团队