深度强化学习代理用于在线覆盖路径规划的仿真到现实迁移

覆盖路径规划 (CPP) 是寻找覆盖受限区域整个自由空间的路径的问题，应用范围从机器人割草到搜救。虽然对于已知环境，离线方法可以找到可保证完整性的路径，且在某些情况下找到最优解，但对于未知环境需要在映射期间进行在线规划。我们研究了连续空间强化学习 (RL) 的适用性，以解决这个具有挑战性的问题，并提出了基于前沿的计算可行的以观察者为中心的地图表示，以及一个基于总变异的新型奖励项，以促进完全覆盖。与现有经典方法相比，这种方法允许灵活的路径空间，并使智能体能够适应特定环境特征。同时，在实际机器人系统上部署 RL 模型具有挑战性。从头训练可能因收敛时间较慢而不可行，而仿真到现实迁移本身就是一个关键挑战。我们通过包括真实机器人和实时方面的半虚拟环境来弥合仿真到现实的差距，同时利用模拟传感器和障碍物以实现环境随机化和自动化剧集重置。我们研究了为适应现实环境所需的精细调谐程度。通过大量实验，我们显示我们的方法在仿真中超过了所有前一种 RL 方法以及高度专业化的方法，适用于多种 CPP 变体。同时，我们的方法成功地迁移到了真实机器人上。我们的代码实现可以在线上找到。