利用稀疏模仿强化学习学习驾驶
计算机视觉与模式识别
2022-05-25 v1
摘要
本文提出稀疏模仿强化学习（SIRL），一种混合端到端控制策略，将稀疏专家驾驶知识与强化学习（RL）策略相结合，用于CARLA仿真环境中的自动驾驶（AD）任务。稀疏专家基于手工规则设计，虽非最优，但通过对行人与车辆避让、交通灯检测等关键场景施加经验，提供风险规避策略。如前所述，由于源自巨大状态空间规模的情境复杂性，从零训练RL智能体数据效率低且耗时，尤其对于城市驾驶任务。我们的SIRL策略通过融合稀疏专家策略与RL策略的输出分布生成复合驾驶策略，为解决这些问题提供方案。在训练早期阶段稀疏专家的引导下，SIRL策略加速训练过程，避免RL探索导致灾难性后果，并确保安全探索。在某种程度上，SIRL智能体正在模仿驾驶专家的行为。同时，它在训练中不断获取知识，从而持续超越稀疏专家改进，并能够超越稀疏专家与传统RL智能体。我们在CARLA模拟器内的复杂城市场景中实验验证了所提SIRL方法的有效性。此外，我们将SIRL智能体在风险规避探索与高学习效率方面与传统RL方法进行比较。我们还展示了SIRL智能体将驾驶技能迁移至未见环境的泛化能力。
引用
@article{arxiv.2205.12128,
title = {Learning to Drive Using Sparse Imitation Reinforcement Learning},
author = {Yuci Han and Alper Yilmaz},
journal= {arXiv preprint arXiv:2205.12128},
year = {2022}
}