Qwen3-1.7B 内部表征图谱:数千段对话在向量空间里长什么样
2026.11.13 · 收录日 2026.11.16 · 模型 · 研究分析 · 社区热议
作者把 Qwen3-1.7B 的残差流状态投影成三维图谱,观察多语言对话的几何形状。
作者构建了 Qwen3-1.7B 内部表征的交互式图谱,把数千段对话的残差流向量投影到三维空间。他先用 100 个主题生成英语、中文、德语、克罗地亚语问答及代码样例,发现英语 token 状态在投影中近似一张薄片,最佳拟合平面约含 99.3% 的变异。
- 模型把文本切成 token,每个 token 从嵌入表取一行作为起始向量,Qwen3-1.7B 每个位置的向量含 2,048 个数字。
- 作者用 100 个主题生成英语、中文、德语、克罗地亚语问答样例,另加一批代码样例。
- 英语 900 个问答样例的最终 token 状态在三维投影中近似薄片,最佳拟合平面约含 99.3% 的变异。
- 嵌入表包含 151,936 个词表 token,每个点对应一行归一化后的输入嵌入。
- 作者随后引入同一批主题的中文版本,让 Qwen 独立生成回答,粉色状态出现在相邻区域。
为什么值得看
用可视化方式理解大模型内部表征的几何结构
适合谁关注
对大模型可解释性、表征分析感兴趣的读者
