PRM-RL：结合强化学习与基于采样的规划实现长距离机器人导航任务
人工智能
2019-02-05 v2 机器学习
机器人学
摘要
我们提出了 PRM-RL，这是一种分层方法，用于完成长距离导航任务，该方法将基于采样的路径规划与强化学习 (RL) 相结合。RL 智能体学习短距离点对点的导航策略，捕捉机器人动力学和任务约束，而无需了解大规模拓扑结构。随后，基于采样的规划器提供路线图，连接那些可由 RL 智能体成功导航的机器人构型。相同的 RL 智能体在规划的指导下控制机器人，从而实现长距离导航。我们使用概率路线图 (PRMs) 作为基于采样的规划器。RL 智能体采用基于特征的策略和深度神经网络策略构建，适用于连续状态和动作空间。我们在仿真和真实机器人上评估了 PRM-RL，针对两个具有非平凡机器人动力学的导航任务：办公环境中的端到端差速驱动室内导航，以及具有负载位移约束的城市环境中的空中货物交付。结果表明，相较于单独的 RL 智能体和传统的基于采样的规划器，PRM-RL 在任务完成率上均有提升。在室内导航任务中，PRM-RL 在噪声传感器条件下成功完成了长达 215 米的轨迹；在空中货物交付任务中，其在比训练环境大 6300 万倍的环境中完成了超过 1000 米的飞行，且未违反任务约束。
引用
@article{arxiv.1710.03937,
title = {PRM-RL: Long-range Robotic Navigation Tasks by Combining Reinforcement Learning and Sampling-based Planning},
author = {Aleksandra Faust and Oscar Ramirez and Marek Fiser and Kenneth Oslund and Anthony Francis and James Davidson and Lydia Tapia},
journal= {arXiv preprint arXiv:1710.03937},
year = {2019}
}
备注
9 pages, 7 figures