RLPP：面向零样本真实环境自主赛车的残差方法
机器人学
2025-02-07 v2 机器学习
摘要
自主赛车呈现出需要具备快速决策能力的复杂环境。虽然基于胎压模型的传统控制器可靠性高，但往往需要大量调参或系统辨识。强化学习（RL）方法因其可直接从交互中学习的能力而具有显著潜力，但通常存在仿真-现实鸿沟，即在仿真中训练的策略在现实世界中难以有效运行。本文提出了 RLPP，一种残差 RL 框架，通过在 Pure Pursuit（PP）控制器上添加 RL 基于的残差来增强其性能。该混合方法利用 PP 的可靠性和可解释性，同时使用 RL 微调控制器在现实场景中的性能。 extensive 测试表明，RLPP 在 F1TENTH 平台上将基线控制器的圈速提高了最高 6.37%，将与 SOTA 方法的差距缩小超过 52%，在零样本真实部署中提供可靠性能，克服了仿真-现实迁移的关键挑战，使其与基线 RL 控制器相比，将从仿真到现实的性能差距缩小超过 8 倍。RLPP 框架已作为开源工具发布，鼓励进一步探索和发展自主赛车研究。代码地址：www.github.com/forzaeth/rlpp。
引用
@article{arxiv.2501.17311,
title = {RLPP: A Residual Method for Zero-Shot Real-World Autonomous Racing on Scaled Platforms},
author = {Edoardo Ghignone and Nicolas Baumann and Cheng Hu and Jonathan Wang and Lei Xie and Andrea Carron and Michele Magno},
journal= {arXiv preprint arXiv:2501.17311},
year = {2025}
}
备注
This paper has been accepted for publication at the IEEE International Conference on Robotics and Automation (ICRA), Atlanta 2025. The code is available at: www.github.com/forzaeth/rlpp