利用强化学习实现神经运动规划
机器人学
2019-06-04 v1 机器学习
机器学习
摘要
运动规划是当今大多数机器人应用中的关键组成部分。在这项工作中，我们考虑学习设定，即利用一组已求解的运动规划问题来提高在不同但相似问题上的运动规划效率。该设定在电子商务等环境快速变化的应用中十分重要。我们研究了一种基于深度学习的通用方法，其中训练神经网络将域图像、当前机器人状态和目标机器人状态映射为规划中的下一机器人状态。我们聚焦于学习算法，并将监督学习方法与强化学习（RL）算法进行比较。我们首先确认，由于障碍物边界处数据不足，监督学习方法在精度上处于劣势，而 RL 方法通过主动探索域来缓解该问题。随后我们提出了一种针对运动规划域改进的流行 DDPG RL 算法，其利用了问题中已知模型及数据中的一组已求解规划。我们表明，我们称之为 DDPG-MP 的算法显著提升了所学运动规划策略的精度。最后，我们表明在给定足够训练数据的情况下，我们的方法在新域上的规划速度显著快于现成的基于采样的运动规划器。我们的实验结果展示于 https://youtu.be/wHQ4Y4mBRb8。
引用
@article{arxiv.1906.00214,
title = {Harnessing Reinforcement Learning for Neural Motion Planning},
author = {Tom Jurgenson and Aviv Tamar},
journal= {arXiv preprint arXiv:1906.00214},
year = {2019}
}
备注
13 pages (all), 8 pages (main sections), 6 figures, 4 tables, accepted to rss2019