迈向无扰动的视觉移动操作

深度强化学习在包括视觉导航与操作在内的丰富仿真机器人任务上已展现出有前景的结果。先前工作通常旨在构建能够尽可能快地解决所分配任务的具身智能体，而在很大程度上忽略了交互过程中与物体碰撞所引起的问题。这种优先级的缺失是可以理解的：在虚拟物体上并不存在固有的破坏代价。因此，“训练良好”的智能体在达成其主要目标前频繁与物体碰撞，这一行为在真实世界中将是灾难性的。在本文中，我们研究在ManipulaTHOR环境中训练智能体完成视觉移动操作任务、同时避免与物体发生不必要碰撞（扰动）的问题。我们将扰动避免表述为奖励函数中的一项惩罚项，但发现直接使用此类带惩罚的奖励进行训练常导致智能体无法逃离糟糕的局部最优。为此，我们提出一种两阶段训练课程，首先让智能体在无惩罚下自由探索并建立基本能力，之后引入扰动惩罚以精炼其行为。在测试场景上的结果表明，我们的课程不仅避免了这些糟糕的局部最优，而且相较于我们的state-of-the-art基线，在无扰动下的成功率绝对提升了10%。此外，我们的课程显著优于将碰撞避免视为约束的安全RL算法。最后，我们提出一种新颖的扰动预测辅助任务以加速学习。