至知研究院提出大模型可解释性新路线：拆权重，数据成本不到1%
2026.08.15 · 观点 · 论文 · 论文预印本
通过将稠密权重矩阵分解为稀疏矩阵，直接从已有权重中构造可干预单元，大幅降低了解释大模型的成本。
近日，至知研究院与多所高校合作提出大模型可解释性新路线——稀疏权重分解（SWD）。该方法将稠密权重矩阵分解为两个稀疏矩阵，共享中间维度作为瓶颈单元，数据成本不到训练型替代表示的1%，并在多款模型上通过了充分性和必要性因果测试。
- 提出稀疏权重分解（SWD）方法，直接从已有权重中拆出可干预单元。
- 达到匹配替换保真度时，SWD使用的数据不到训练型替代表示的1%。
- SWD瓶颈单元能够通过充分性和必要性因果测试，并支持定向编辑。
- 已在GPT-2以及Qwen2.5、Qwen3.5-27B等大模型上完成验证。
为什么值得看
它提供了一条轻量且可扩展的大模型机制可解释性新路线，大幅降低了回路分析的数据与训练成本。
适合谁关注
大模型研究员、AI安全与机制可解释性领域从业者。