区域交通信号控制协作深度强化学习中基于宏观与微观交通状态的通信策略
多智能体系统
2025-02-20 v1 人工智能
机器学习
摘要
自适应交通信号控制 (ATSC) 已成为智能交通系统中的热门研究课题。使用多智能体深度强化学习 (MADRL) 技术的区域交通信号控制 (RTSC) 因其能够在可扩展性和最优性之间实现最佳权衡，已成为 ATSC 的一种有前景的方法。大多数现有的 RTSC 方法将交通网络划分为几个不相交的区域，随后对每个区域应用集中式强化学习技术。然而，RTSC 智能体之间追求协作仍然是一个开放性问题，且尚未研究针对 RTSC 智能体的通信策略。在本文中，我们提出通信策略以捕捉车道间微观交通状态的相关性以及交叉口间宏观交通状态的相关性。我们首先通过存储转发排队系统论证了 RTSC 过程的演化方程具有马尔可夫性。接下来，基于该演化方程，我们提出了两个 GAT 聚合 (GA2) 通信模块——GA2-Naive 和 GA2-Aug，以提取宏观和微观交通状态之间的区域内和区域间相关性。GA2-Naive 仅考虑每个交叉口的运动，而 GA2-Aug 还考虑了车辆的变道行为。然后将提出的两个通信模块聚合到两个现有的新颖 RTSC 框架——RegionLight 和 Regional-DRL 中。实验结果表明，GA2-Naive 和 GA2-Aug 在真实和合成场景下均有效提高了现有 RTSC 框架的性能。超参数测试还揭示了我们的通信模块在大规模交通网络中的鲁棒性和潜力。
引用
@article{arxiv.2502.13248,
title = {Communication Strategy on Macro-and-Micro Traffic State in Cooperative Deep Reinforcement Learning for Regional Traffic Signal Control},
author = {Hankang Gu and Shangbo Wang and Dongyao Jia and Yuli Zhang and Yanrong Luo and Guoqiang Mao and Jianping Wang and Eng Gee Lim},
journal= {arXiv preprint arXiv:2502.13248},
year = {2025}
}