港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

2026.11.19 · 收录日 2026.11.19 · 模型 · 论文 · 论文预印本

新架构C-Gate让音频表示落在冻结词向量的凸包内,语音端接上大模型知识与推理能力。

香港中文大学(深圳)与微软研究院联合提出多模态统一建模架构ConvexLLM,其核心接口C-Gate把每个音频位置表示为多个冻结文字词向量的加权组合,使声音落在词向量凸包内。在VoiceBench 11项任务上综合得分75.36,同量级开源模型中第一,BBH达80.40%,领先最强基线8.80个百分点。

  • C-Gate从词表选出最匹配的16个冻结词向量并学习非负、总和为1的混合权重,音频表示落在文字词向量凸包内。
  • VoiceBench 11项任务综合得分75.36,高于MiniCPM-o 4.5的73.04、Kimi-Audio的70.26和MiMo-Audio的67.01。
  • OpenBookQA达90.33%、BBH达80.40%,四项知识与推理任务均超各自最强基线。
  • 同一2B骨干下,C-Gate语音综合分60.35,高于MLP的58.80和Q-Former的54.19,与文字输入差距最小。
  • 同一接口还用于环境声与音乐理解,MMAU Test-mini整体准确率62.50%,LibriSpeech test-clean词错误率2.39%。

为什么值得看

语音大模型如何接住语言模型已有的知识与推理能力

适合谁关注

语音大模型、多模态建模方向的研究者与工程师

原始来源

查看收录日 2026.11.19 全部卡片 · 全部卡片归档