促进实际机器人强化学习应用的仿真管道

强化学习 (RL) 因其在解决机器人应用中复杂任务方面的成功而受到关注。然而，其在物理机器人上的部署仍然具有挑战，由于安全风险和训练成本较高。为避免这些问题，RL 代理通常在仿真器上训练，这引入了一个新的问题，即仿真与现实之间的差距。本文提出了一个旨在减少现实差距并促进开发和部署用于实际机器人系统的 RL 策略的管道。该管道将 RL 训练过程组织为系统辨识的初始步骤和三个训练阶段：核心仿真训练、高保真仿真和实际部署，每个阶段都添加现实程度，以减少仿真-现实差距。每个训练阶段接受输入策略，改进后要么将改进后的策略传递给下一个阶段，要么循环回进行进一步改进。这个迭代过程持续到策略实现所需的性能为止。通过使用波士顿动力学 Spot 移动机器人用于监视应用程序的案例研究，展示了该管道的有效性。该案例研究在每个管道阶段采取的步骤以获得控制机器人位置和姿态的 RL 代理。