水上导航：深度强化学习的挑战性基准
机器学习
2024-06-03 v1 机器人学
摘要
深度强化学习（DRL）的一个令人兴奋且有前景的前沿是其在实际机器人系统中的应用。虽然现代DRL方法在许多机器人场景（包括移动机器人、手术辅助和自动驾驶）中取得了显著成功，但不可预测和非平稳的环境可能给这些方法带来严峻挑战。这些特征可能严重破坏成功训练过程的基本要求，例如转移模型的马尔可夫性质。为了解决这一挑战，我们利用游戏引擎与DRL集成的最新进展，提出了一个新的水上导航基准环境。更详细地说，我们展示了即使对于最先进的DRL方法，我们的基准环境也可能存在问题，这些方法可能难以在泛化能力和安全性方面生成可靠的策略。具体来说，我们专注于PPO，这是最广泛接受的算法之一，并提出了高级训练技术（如课程学习和可学习超参数）。我们广泛的实证评估表明，这些成分的精心设计的组合可以实现有希望的结果。我们的仿真环境和训练基线可免费获取，以促进对这一开放问题的进一步研究，并鼓励该领域的合作。
引用
@article{arxiv.2405.20534,
title = {Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning},
author = {Davide Corsi and Davide Camponogara and Alessandro Farinelli},
journal= {arXiv preprint arXiv:2405.20534},
year = {2024}
}