基于约束网络划分与自适应深度强化学习的大规模交通信号控制
人工智能
2023-09-08 v5
摘要
基于多智能体深度强化学习（MADRL）的交通信号控制近年来成为热门研究课题。为缓解完全集中式 RL 技术在大规模交通网络上的可扩展性问题，以及完全分散式 RL 技术的非平稳性问题，部分文献采用区域控制方法：首先将整个网络划分为多个不相交区域，然后对每个区域应用集中式 RL 方法。然而，现有划分规则要么对区域拓扑无约束，要么要求所有区域具有相同拓扑。同时，在交叉口由四相交通信号（EW、EWL、NS、NSL）控制时，现有区域控制方法均未探索在指数增长的区域动作空间中最优联合动作的性能。本文提出一种名为 RegionLight 的新型 RL 训练框架以克服上述局限。具体而言，首先将区域拓扑约束为包含一个中心和任意数量叶节点的星型网络。接着，将网络划分问题建模为最小化区域数量的优化问题。然后，提出自适应分支对决 Q 网络（ABDQ）模型，将区域控制任务分解为对应于特定交叉口的若干联合信号控制子任务。随后，这些子任务协同最大化区域收益。最后，通过拼接所有区域的最优联合动作得到整个网络的全局控制策略。实验结果表明，在真实与合成数据集的所有评估指标下，我们所提框架均优于所有基线方法。
引用
@article{arxiv.2303.11899,
title = {Large-Scale Traffic Signal Control Using Constrained Network Partition and Adaptive Deep Reinforcement Learning},
author = {Hankang Gu and Shangbo Wang and Xiaoguang Ma and Dongyao Jia and Guoqiang Mao and Eng Gee Lim and Cheuk Pong Ryan Wong},
journal= {arXiv preprint arXiv:2303.11899},
year = {2023}
}