给多模态大模型选「眼睛」，两个简单改进让评测相关性接近翻倍
2026.10.17 · 事件 · 论文 · 媒体报道
机器之心报道免训练评测方法 RAVEL，用两个简单改进提升视觉编码器筛选准确度。
视觉编码器是多模态大模型的核心组件，但逐一接入 LLM 训练评测成本高昂。团队训练并评测 210 个 MLLM 后发现，现有跨模态评测方法在候选池扩大后性能显著下降，甚至不及单模态方法。为此提出免训练方法 RAVEL，引入带稳定项的 PCA 白化和图像块级相似度计算，平均 Spearman 相关系数达 0.85。
- 现有跨模态评测在候选池扩大后性能下降，甚至不及单模态方法
- RAVEL 引入带稳定项的 PCA 白化，减少主导方向干扰
- RAVEL 引入图像块级相似度计算，捕捉局部语义细节
- 团队训练评测 210 个 MLLM，覆盖 70 个视觉编码器与 3 个 LLM…
- RAVEL 平均 Spearman 相关系数 0.85，大幅领先 GW 和…
为什么值得看
视觉编码器选型直接影响多模态大模型表现，RAVEL 免训练即可预测。
适合谁关注
多模态大模型研究者、视觉编码器选型工程师、跨模态对齐方向从业者。