Qwen3-0.6B 被改造成 MoE：首个聊天风格转换模型
2026.10.23 · 事件 · 开源项目 · 本人发布
作者发布 Qwen3-0.6B 的 MoE 转换版，但各项质量指标均不如原版。
开发者将 Qwen3-0.6B 转换为 MoE 架构，这是其首个聊天风格转换模型。由于 Qwen3 没有共享专家，质量明显下降，作者用「伪共享专家」部分挽回。评测显示 MoE 版在 Wiki ppl、C4 ppl 和任务得分上均差于原版，0.6B 规模下速度也无提升。
- Qwen3-0.6B 被转换为 MoE，是首个聊天风格转换
- Qwen3 无共享专家，转换后质量明显下降
- 用伪共享专家部分恢复质量，但不如真共享专家
- Wiki ppl 26.98、C4 ppl 36.32，均差于原版
- 0.6B 规模无速度提升，仅 1.5B 等更大模型有收益
为什么值得看
了解小模型 MoE 化改造的真实效果与局限
适合谁关注
关注模型压缩与 MoE 架构的开发者