融合专家引导的深度学习强化学习方法用于自动驾驶安全超车的高效学习
机器人学
2023-08-21 v1
摘要
双车道道路上的超车对自动驾驶车辆而言是一大挑战，因为出现在对向车道上的来车可能要求车辆改变决策并中止超车。深度强化学习（DRL）对此类困难决策问题已展现出前景，但其需要海量数据，尤其在动作空间连续时。本文提出将专家系统的引导融入 DRL，以提升其在自动驾驶超车场景中的样本效率。本研究开发的引导系统由约束迭代 LQR 与 PID 控制器组成。新颖性在于引入了一种渐隐引导函数，其逐步减弱专家系统的影响，使智能体起初能快速学习恰当动作，随后超越专家系统的性能。该方法因而结合了传统控制工程的优点与学习系统的灵活性，拓展了自动驾驶系统的能力。所提出的自动驾驶车辆超车方法不依赖于特定 DRL 算法，并以三种最先进算法作为基线进行评估。仿真结果表明，融入专家系统引导在样本效率与驾驶安全性上均大幅改善了最先进的 DRL 算法。
引用
@article{arxiv.2308.09456,
title = {Integrating Expert Guidance for Efficient Learning of Safe Overtaking in Autonomous Driving Using Deep Reinforcement Learning},
author = {Jinxiong Lu and Gokhan Alcan and Ville Kyrki},
journal= {arXiv preprint arXiv:2308.09456},
year = {2023}
}
备注
10 pages, 7 figures