FastRLAP：一种通过深度强化学习与自主练习学习高速驾驶的系统性方法
机器人学
2023-04-20 v1 人工智能
机器学习
摘要
我们提出了一种使自主小型遥控车能够利用强化学习（RL）从视觉观测中实现激进驾驶的系统。我们的系统 FastRLAP（更快圈速）在真实世界中自主训练，无需人工干预，也不依赖任何仿真或专家演示。我们的系统集成了若干重要组件以实现这一点：我们从其他机器人在其他环境（低速）中导航的大型先验数据集初始化 RL 策略与价值函数的表征，从而提供与导航相关的表征。在此基础上，一种样本高效的在线 RL 方法利用一段用户提供的低速演示来确定期望的行驶路线，提取一组导航检查点，并自主练习通过这些检查点，在碰撞或失败时自动重置。或许令人惊讶的是，我们发现通过恰当的初始化与算法选择，我们的系统能够以少于 20 分钟的在线训练在各种赛道上学会驾驶。所得策略展现出涌现的激进驾驶技能，例如入弯时把握刹车与加速时机、避开阻碍机器人运动区域，在训练过程中接近使用类似第一人称界面的人类驾驶员的表现。
引用
@article{arxiv.2304.09831,
title = {FastRLAP: A System for Learning High-Speed Driving via Deep RL and Autonomous Practicing},
author = {Kyle Stachowicz and Dhruv Shah and Arjun Bhorkar and Ilya Kostrikov and Sergey Levine},
journal= {arXiv preprint arXiv:2304.09831},
year = {2023}
}