让大模型学会向老师提问:UIUC等提出Ask to Distill,让知识蒸馏从「回答问题」走向「优化问题」

2026.11.18 · 收录日 2026.11.18 · 模型 · 论文 · 论文预印本

新框架A2D用强化学习训练问题生成器,无需标准答案即可合成高价值蒸馏问题。

UIUC、港科大等机构提出 Ask-to-Distill(A2D),把训练问题视为触发教师监督信号的「分布诱导器」。它用 Disagreement 与 Compatibility 构造 token 级学习价值信号,再以 GRPO 优化问题生成器,无需外部问题与标准答案。数学推理中 Qwen3-1.7B 平均分从 43.0 提至 46.2。

  • A2D 让问题生成器主动探索:哪些问题能为特定学生—教师组合提供更有效的监督信号。
  • 用 Disagreement 衡量师生分歧、Compatibility 衡量教师概率落在学生 Top-K 候选的比例,二者结合构造 token 学习价值。
  • 以 GRPO 训练生成器,并引入长度归一化、过长惩罚与多样性约束,避免靠超长回答或重复问题刷分。
  • 合成问题库只保存问题、不需标准答案;蒸馏阶段从原始学生参数重新开始做标准 OPD。
  • A2D 生成的问题让学生回答长度减少约 20%,同时激发的累计学习信号增加约 28%。

为什么值得看

换个思路做蒸馏:不靠标准答案,靠优化问题本身。

适合谁关注

关注大模型训练、知识蒸馏与合成数据的研究者和工程师。

原始来源

查看收录日 2026.11.18 全部卡片 · 全部卡片归档