基于强化学习的拟真策略控制用于近事故驾驶

近年来自动驾驶取得了显著进展，但自动驾驶汽车仍无法应对潜在事故高发的危险情形。在此类近事故场景中，车辆动作的微小改变可能导致截然不同的后果。为避免近事故场景中的不安全动作，我们需要充分探索环境。然而，强化学习（RL）和模仿学习（IL）这两种广泛使用的策略学习方法无法建模快速的相变，且难以扩展以完全覆盖所有状态。为解决近事故场景中的驾驶问题，我们提出了一种分层强化与模仿学习（H-ReIL）方法，其由 IL 学习的离散驾驶模式的底层策略，以及 RL 学习的可在不同驾驶模式间切换的高层策略组成。我们的方法通过将 IL 和 RL 整合进统一学习框架，利用了二者的优势。实验结果和用户研究表明，与其他方法相比，我们的方法可实现更高的效率与安全性。对策略的分析表明，我们的高层策略在近事故驾驶情境中恰当地在不同底层策略间切换。