基于互联车辆的强化学习用于高速公路车道变更调控

车道变更决策是一项复杂任务，由于车辆-车辆和车辆-基础设施之间的复杂交互所致。现有的车道变更控制算法通常依赖于具有一定自主程度的车辆（例如自动驾驶或互联自动驾驶车辆）。为应对自动驾驶车辆渗透率低和精确数据采集成本高的挑战，本研究提出了一种基于多智能体强化学习（MARL）的动态车道变更调控设计，以提升高速公路交通效率。所提出的框架利用多车道宏观交通模型来描述每条车道的密度和速度的时空动力学。由聚合车道变更行为引起的相邻车道之间的横向交通流被建模为偏微分方程（PDE）之间交换的源项。我们提出了一种使用 MARL 的车道变更调控策略，每个离散化车道网格放置一个智能体。每个智能体的状态由从其网格内聚合的车辆属性表示，这些属性来自 SUMO 微观仿真环境。智能体的动作是对其网格内车辆的车道变更调控。具体而言，车道变更调控信号在集中式交通管理中心计算，然后广播到相应车道网格中的互联车辆。与车辆级机动控制相比，该方法通过利用车辆互联性实现了更高的调控率，同时不引入关键的安全问题，并适应交通系统中不同程度的互联性和自主性。所提出的模型在不同交通场景和需求条件下进行了仿真和评估。实验结果表明，该方法在保持驾驶安全的同时提升了整体交通效率，且额外能耗极小。