混合交通中联网自动驾驶车辆协同换道的多智能体强化学习

在过去二十年中，自动驾驶引起了极大的研究兴趣，因为它带来了许多潜在益处，包括将驾驶员从疲劳驾驶中解放出来以及缓解交通拥堵等。尽管取得了可喜进展，换道对自动驾驶车辆（AV）而言仍是一大挑战，尤其在混合且动态的交通场景中。近来，强化学习（RL）这一强大的数据驱动控制方法已被广泛探索用于自动驾驶车辆的换道决策，并展示出令人鼓舞的结果。然而，这些研究大多聚焦于单车设置，而多辆自动驾驶车辆与人驾车辆（HDVs）共存情境下的换道问题鲜受关注。本文将在混合交通高速公路环境中多辆自动驾驶车辆的换道决策制定建模为多智能体强化学习（MARL）问题，其中每辆自动驾驶车辆基于相邻自动驾驶车辆与人驾车辆的运动做出换道决策。具体而言，我们开发了带有新颖局部奖励设计与参数共享方案的多智能体优势行动者-评论家网络（MA2C）。特别地，提出了一种多目标奖励函数以兼顾燃油效率、驾驶舒适性与自动驾驶安全性。在三种不同交通密度及多种人驾攻击性水平下进行的综合实验结果表明，我们所提出的 MARL 框架在效率、安全性与驾驶舒适性方面持续优于若干最先进的基准方法。