机器人终于有了「任务进度记忆」!连续干活4小时,成功率超95%
2026.10.30 · 收录日 2026.10.30 · 事件 · 论文 · 论文预印本
上海交大团队提出VaM,把价值预测当记忆输入策略,让机器人长流程操作更稳。
上海交通大学与上海创智学院团队提出 Value as Memory(VaM),将近期价值预测作为「任务进度记忆」输入动作策略,并结合离线到在线的真机强化学习流程。在纸盒装配任务中,VaM 连续自主运行4小时,成功率超95%,相比移除价值缓存的版本最终成功率提升 29.4%。
- VaM 把近期价值预测序列作为策略输入,与视觉历史和本体状态共同生成动作,称为 value caching(价值缓存)。
- 训练分四阶段:离线示范初始化、离线强化学习预热、Online DAgger、Learn from Experience(LfE)。
- 纸盒装配任务中 VaM 连续自主运行 4 小时,任务成功率达 95% 以上。
- 相比移除价值缓存的版本,VaM 最终任务成功率提升 29.4%,收益在进入自主经验学习后仍存在。
- 在线 RL 方案在三个任务上平均成功率提升 32.8%,并发执行使每梯度步真实世界时间成本降低 57.8%。
为什么值得看
看机器人如何用价值预测当记忆,解决长流程操作中的状态混淆。
适合谁关注
关注机器人学习、强化学习与真机部署的研究者和从业者。
