EMNLP 2026 | 大模型解码不能只看概率，人大团队引入语义冗余
2026.09.30 · 观点 · 论文 · 论文预印本
人大团队提出 ME-Decoding，把候选 token 筛选改写为动态子集优化问题。
中国人民大学代文林、孟澄团队提出 Mahalanobis-Ensemble Decoding（ME-Decoding），将解码中的候选 token 筛选改写为动态子集优化问题，同时读取模型概率与 token embedding。在三个模型、三个温度设置下，该方法在推理与开放式生成任务上取得所比较方法中的最佳平均表现，端到端 GPU 总延迟相比最快的概率截断基线仅增加约 3%。
- ME-Decoding 同时利用 token 概率与 embedding 相似度
- 用 Mahalanobis-Ensemble Score 联合衡量置信度与语义冗
- 自适应 kernel 带宽随每步候选分布变化
- GSM8K 与 GPQA 平均准确率分别为 72.66% 和 32.96%
- 端到端 GPU 总延迟相比最快概率截断基线仅增约 3%
为什么值得看
解码筛选从单点概率扩展到集合层面的联合优化。
适合谁关注
关注大模型推理与解码策略的研究者和工程师。