高速驾驶，快速学习：面向高性能自主赛车的车载强化学习
机器人学
2025-05-13 v1
摘要
自主赛车具有独特的挑战，包括非线性动力学、高速运动，以及在动态和不可预测的情况下进行实时决策的紧迫需求。大多数传统强化学习（RL）方法依赖于广泛的基于仿真的预训练，这在将其有效地转移到真实环境方面面临关键挑战。本文引入了一个用于自主赛车的robust on-board rl framework，旨在消除对仿真预训练的依赖，实现直接的真实世界适应。该系统引入了精炼的Soft Actor-Critic（SAC）算法，利用残差RL结构通过集成多步时序差分（TD）学习、异步训练管道以及 Heuristic Delayed Reward Adjustment（HDRA）来增强经典控制器，以提高样本效率和训练稳定性。该框架通过F1TENTH赛车平台上的大量实验进行验证，其中残差RL控制器持续优于基线控制器，在仅需20分钟训练的情况下，实现了比最先进技术（SotA）最高11.5%的圈速降低。此外，一个无需基线控制器即可实现的端到端（E2E）RL控制器在持续的轨道学习下超越了前所未有的_best results。这些发现将该框架定位为高性能自主赛车的稳健解决方案，并为其他实时、动态的自主系统指明了前景。
引用
@article{arxiv.2505.07321,
title = {Drive Fast, Learn Faster: On-Board RL for High Performance Autonomous Racing},
author = {Benedict Hildisch and Edoardo Ghignone and Nicolas Baumann and Cheng Hu and Andrea Carron and Michele Magno},
journal= {arXiv preprint arXiv:2505.07321},
year = {2025}
}