基于示例重置的强化学习自动化

深度强化学习使机器人能够从环境交互中以极少或无需先验知识的方式学习运动技能。然而，现有的强化学习算法假设一种片段式设定，即智能体在每一轮结束时重置到固定的初始状态分布，从而通过重复试验成功训练智能体。这种重置机制对于模拟任务而言虽然微不足道，但对于现实世界机器人任务却难以提供。机器人系统中的重置通常需要大量人工监督和特定任务的变通方法，这与自主机器人学习的目标相悖。在本文中，我们通过引入一个以自监督方式学习重置的额外智能体，对常规强化学习进行扩展以实现更高自主性。重置智能体预先触发重置以防止手动重置，并隐式地为前向智能体施加课程。我们将我们的方法应用于在一系列模拟和真实世界连续控制任务上从零开始学习，并证明重置智能体成功学会了减少手动重置，同时也使前向策略随时间逐步改进。