EMNLP’26|GPT也不会「读空气」,狼人杀基准测出社交盲区

2026.10.29 · 收录日 2026.10.29 · 事件 · 论文 · 论文预印本

东京大学提出MIDA基准,用狼人杀测多模态大模型的欺骗判断能力。

东京大学团队提出多模态交互式欺骗评估基准MIDA,用「一夜终极狼人」游戏测试GPT、Gemini、Claude、Qwen、DeepSeek等模型的欺骗判断能力,相关研究已被EMNLP 2026主会接收。结果显示,仅保留必须判断真假的样本时,GPT-4o二分类准确率仅27.6%,Qwen2.5-VL-7B对「假话」的F1值为0。

  • MIDA共含2360条发言,819条来自Ego4D的40局线下游戏,1541条来自151段YouTube游戏视频,标注为真、假或中性。
  • 总体准确率具有欺骗性:GPT-4o在Ego4D子集总体准确率74.0%,但二分类准确率仅27.6%;Qwen2.5-VL-7B总体76.4%,对假话F1值为0。
  • 身份声明类发言上各模型平均准确率仅15.7%和25.3%,含证据发言平均准确率不到40%。
  • 消融实验显示,去掉对话历史后GPT-4o-mini二分类准确率从39.4%骤降至13.4%;视觉帧数增加也未带来持续增益。
  • 团队提出SoCoT与DSEM两个模块,DSEM使GPT-4o-mini二分类准确率提高2.3个百分点、宏平均F1提高3.3个百分点。

为什么值得看

揭示当前多模态大模型在多人社交欺骗判断上的真实短板。

适合谁关注

关注多模态大模型、社会智能与心智理论的研究者和从业者。

原始来源

查看收录日 2026.10.29 全部卡片 · 全部卡片归档