基于传感器的分层强化学习导航

机器人系统如今能够解决复杂的导航任务。然而，其能力受限于设计者的知识，因而缺乏对初始未考虑情况的泛化能力。这使得深度强化学习（DRL）尤为有趣，因为这类算法有望实现仅依赖环境反馈的自学习系统。在本文中，我们考虑在连续动作空间中使用DRL、且不提供任何目标导向或全局信息的激光雷达（lidar）机器人导航问题。通过仅依靠局部传感器数据解决导航任务，我们设计了一个基于内在动机自行指定路点的智能体。我们的智能体即使仅面对稀疏反馈（即到达目标时的延迟奖励）也能学习到目标导向的导航行为。为应对该挑战及连续动作空间的复杂性，我们部署了一种分层智能体结构，其中探索分布于多个层级。在该分层结构内，我们的智能体自行指定内部目标，并学会仅基于局部传感器数据提取合理的路点以到达期望的目标位置。在实验中，我们在两种环境中展示了智能体的导航能力，并表明与扁平结构相比，分层结构在成功率和按路径长度加权的成功率方面显著提升了性能。此外，我们提供了真实机器人实验以说明训练后的智能体可轻松迁移至真实场景。