自主导航中强化学习技术的基准评测
机器人学
2023-06-28 v2 人工智能
摘要
深度强化学习（RL）已为自主机器人导航带来诸多成功。然而，仍存在重要局限阻碍基于 RL 的导航系统的实际部署。例如，大多数学习方法缺乏安全性保证；且学习到的导航系统可能不能很好地泛化到未知环境。尽管近期有各种通用学习技术应对这些挑战，但缺乏专门面向自主导航的开源基准和可复现的学习方法，使得机器人学家难以为其移动机器人选择何种学习方法，也使得学习研究者难以识别当前通用学习方法在自主导航上的不足。在本文中，我们明确了应用深度 RL 方法于自主导航的四个主要诉求：（D1）不确定性下的推理，（D2）安全性，（D3）从有限试错数据学习，以及（D4）对多样且新颖环境的泛化。随后，我们探索了四大类学习技术以达成上述一项或多项诉求：基于记忆的神经网络架构（D1）、安全 RL（D2）、基于模型的 RL（D2、D3）和域随机化（D4）。通过在一个新的开源大规模导航基准和真实环境中部署这些学习技术，我们开展了一项全面研究，旨在确定这些技术在何种程度上能为基于 RL 的导航系统实现这些诉求。
引用
@article{arxiv.2210.04839,
title = {Benchmarking Reinforcement Learning Techniques for Autonomous Navigation},
author = {Zifan Xu and Bo Liu and Xuesu Xiao and Anirudh Nair and Peter Stone},
journal= {arXiv preprint arXiv:2210.04839},
year = {2023}
}