港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理
2026.11.19 · 收录日 2026.11.19 · 模型 · 论文 · 论文预印本
新架构C-Gate让音频表示落在冻结词向量的凸包内,语音端接上大模型知识与推理能力。
香港中文大学(深圳)与微软研究院联合提出多模态统一建模架构ConvexLLM,其核心接口C-Gate把每个音频位置表示为多个冻结文字词向量的加权组合,使声音落在词向量凸包内。在VoiceBench 11项任务上综合得分75.36,同量级开源模型中第一,BBH达80.40%,领先最强基线8.80个百分点。
- C-Gate从词表选出最匹配的16个冻结词向量并学习非负、总和为1的混合权重,音频表示落在文字词向量凸包内。
- VoiceBench 11项任务综合得分75.36,高于MiniCPM-o 4.5的73.04、Kimi-Audio的70.26和MiMo-Audio的67.01。
- OpenBookQA达90.33%、BBH达80.40%,四项知识与推理任务均超各自最强基线。
- 同一2B骨干下,C-Gate语音综合分60.35,高于MLP的58.80和Q-Former的54.19,与文字输入差距最小。
- 同一接口还用于环境声与音乐理解,MMAU Test-mini整体准确率62.50%,LibriSpeech test-clean词错误率2.39%。
为什么值得看
语音大模型如何接住语言模型已有的知识与推理能力
适合谁关注
语音大模型、多模态建模方向的研究者与工程师
