基于深度强化学习的多跳上游预见性交通信号控制

交通信号控制中的协调对于管理城市网络拥堵至关重要。现有的基于压力的控制方法仅关注直接上游链路，导致绿灯时间分配次优和网络延迟增加。然而，有效的信号控制本质上要求更广泛的空间范围协调，因为上游交通的影响应影响下游路口的信号控制决策，从而影响交通网络的大范围区域。尽管基于神经网络特征提取的智能体通信可以隐式增强空间感知，但它显著增加了学习复杂度，给深度强化学习中本已具有挑战性的控制任务增加了额外难度。为解决学习复杂度和近视交通压力定义问题，我们的工作基于马尔可夫链理论引入了一个新概念，即“多跳上游压力”，它将传统压力推广以考虑直接上游链路之外的交通状况。这一具有前瞻性和紧凑的指标指导深度强化学习智能体预先清除多跳上游队列，引导智能体以更广泛的空间感知优化信号配时。在合成和真实（多伦多）场景上的仿真表明，利用多跳上游压力的控制器通过基于对上游拥堵更广泛理解的交通流优先级，显著降低了整体网络延迟。