Update #4：从零后训练 yandex/AliceAI-80B-A3B 指令版
2026.10.05 · 事件 · 模型训练 · 本人发布
作者完成第一轮 SFT，模型学会思维链但指令数据不足、基本不可用，暂不发布。
作者对 AliceAI-80B-A3B-Base 做指令微调，目标是能对话和做智能体任务，全部训练在 3 张 32GB V100 上本地完成。第一轮 SFT 后模型已能正确习得思维链推理并对话，但指令数据不足、明显欠拟合，checkpoint #1 基本不可用，暂不发布。
- 目标：AliceAI-80B-A3B-Base 的指令微调，支持智能体与对话
- 训练全在 3 张 32GB V100 上本地完成，数据也本地生成
- 首轮 500 万 token 数据广度不足，模型欠拟合
- checkpoint #1 能对话但基本不可用，决定不发布
- 合成数据生成提速到约 240tps，将再生成约 500 万 token 通用指令
为什么值得看
了解本地小算力做 80B 级模型后训练的真实进展与坑。
适合谁关注
关注本地大模型训练、蒸馏与后训练的开发者。