仅靠模仿是不够的：利用强化学习强化挑战性驾驶场景中的模仿学习
人工智能
2023-08-14 v2 机器人学
摘要
模仿学习 (IL) 是一种简单而强大的方法，利用可大规模收集的高质量人类驾驶数据来产生类人行为。然而，仅基于模仿学习的策略往往无法充分应对安全性和可靠性问题。在本文中，我们展示了如何使用简单奖励将模仿学习与强化学习相结合，从而大幅提升驾驶策略相对于仅从模仿中学习的策略的安全性和可靠性。具体而言，我们在超过 10 万英里的城市驾驶数据上训练了一个策略，并按不同碰撞概率水平分组的测试场景中衡量其有效性。我们的分析表明，虽然在演示数据覆盖良好的低难度场景中模仿可以表现良好，但我们提出的方法在最具挑战性的场景中显著提高了鲁棒性（失败率降低超过 38%）。据我们所知，这是在自动驾驶中首次应用结合模仿与强化学习的方法，并利用了大量真实世界的人类驾驶数据。
引用
@article{arxiv.2212.11419,
title = {Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios},
author = {Yiren Lu and Justin Fu and George Tucker and Xinlei Pan and Eli Bronstein and Rebecca Roelofs and Benjamin Sapp and Brandyn White and Aleksandra Faust and Shimon Whiteson and Dragomir Anguelov and Sergey Levine},
journal= {arXiv preprint arXiv:2212.11419},
year = {2023}
}