用于真实世界自适应交通信号控制的并行混合动作空间强化学习模型
人工智能
2025-03-19 v1
摘要
自适应交通信号控制（ATSC）可以通过动态调整信号时序有效减少车辆行驶时间，但由于动态和不确定交通条件下实时决策的复杂性，在真实场景中构成了关键挑战。由人工智能技术和大量数据可用性推动的智能交通系统蓬勃发展领域，为 ATSC 的实施提供了新的前景。在本研究中，我们提出了一种并行混合动作空间强化学习模型（PH-DDPG），同时优化交通信号相位和交通信号持续时间，消除了传统两阶段模型所需的序贯决策。我们的模型具有针对自适应交通控制定制的任务特定并行混合动作空间，能够同时直接输出离散相位选择及其关联的连续持续时间参数，从而通过统一参数优化内在地解决了动态交通适应问题。此外，为了确定该方法的鲁棒性和有效性，我们进行了消融研究，重点考察了在评论家网络中使用随机动作参数掩码的利用，该掩码将各动作的参数空间解耦，从而便于为每个动作使用优选参数。这些研究的结果证实了该方法的有效性，显著增强了真实世界的适用性。
引用
@article{arxiv.2503.14250,
title = {A Parallel Hybrid Action Space Reinforcement Learning Model for Real-world Adaptive Traffic Signal Control},
author = {Yuxuan Wang and Meng Long and Qiang Wu and Wei Liu and Jiatian Pi and Xinmin Yang},
journal= {arXiv preprint arXiv:2503.14250},
year = {2025}
}
备注
13 pages, 9 figures, Reinforcement Learning