大道至简!复旦×南洋理工提出SimpleVLN,用原生MLLM刷新导航SOTA

2026.10.30 · 收录日 2026.10.30 · 事件 · 论文 · 论文预印本

复旦与南洋理工提出SimpleVLN,不改MLLM主干,靠决策设计与三阶段训练刷新VLN成功率。

复旦大学与新加坡南洋理工大学团队提出SimpleVLN,不改动多模态大模型核心结构、不新增专用导航模块,仅靠观测筛选、动作块决策与三阶段训练释放原生导航能力。在R2R-CE、RxR-CE未见环境测试中,Qwen3.5 9B取得76.7%、80.1%成功率,并已部署到四足机器狗。

  • 历史观测采用全局均匀采样加最新一帧的组合策略,消融显示全部输入历史图像并不会提升效果。
  • 动作块(Action Chunking)让模型一次预测一段有序基础动作,导航成功率从45.6%提升到53.6%。
  • 引入DAgger将模型自身轨迹纳入训练,R2R-CE成功率从57.9%升至65.4%,RxR-CE从55.3%升至63.4%。
  • 再用DAPO强化学习按整段任务结果反馈,Qwen3-VL 4B在R2R-CE升至73.8%、RxR-CE升至75.1%。
  • 基于Qwen3-VL 4B的SimpleVLN在A100上每次动作块决策耗时293毫秒,并已部署到四足机器狗完成多步指令导航。

为什么值得看

不堆模块也能刷新导航SOTA,为原生MLLM做具身导航提供极简范式。

适合谁关注

关注视觉语言导航、具身智能与多模态大模型的研究者和开发者。

原始来源

查看收录日 2026.10.30 全部卡片 · 全部卡片归档