提升大规模交通信号控制的泛化能力与鲁棒性
机器学习
2023-06-09 v2
摘要
已有若干深度强化学习（RL）方法被提出用于控制交通信号。本文从两个维度研究了此类方法的鲁棒性。首先，传感器故障与 GPS 遮挡造成了缺失数据挑战，我们表明近期方法在面对这些缺失数据时仍然脆弱。其次，我们更系统地研究了 RL 方法对具有不同交通状况的新路网的泛化能力，再次指出了近期方法的局限性。随后，我们提出通过策略集成结合分布式强化学习与常规强化学习。在以往使用图卷积网络（GCNs）的分散式大规模交通信号控制最优模型基础上，我们首先采用分布式强化学习（DisRL）方法学习模型，具体而言，使用隐式分位数网络（IQN）通过分位数回归对状态-动作回报分布建模。对于交通信号控制问题，标准 RL 与 DisRL 的集成在不同场景下均取得更优性能，包括不同水平的传感器数据缺失与交通流模式。此外，所得模型的学习方案可提升对不同的道路网络结构（包括合成网络与真实世界网络，如卢森堡、曼哈顿）的零样本可迁移性。我们进行了大量实验，将我们的方法与多智能体强化学习及传统交通方法比较。结果表明，所提方法在面对缺失数据、变化的路网与交通流时，提升了鲁棒性与泛化能力。
引用
@article{arxiv.2306.01925,
title = {Improving the generalizability and robustness of large-scale traffic signal control},
author = {Tianyu Shi and Francois-Xavier Devailly and Denis Larocque and Laurent Charlin},
journal= {arXiv preprint arXiv:2306.01925},
year = {2023}
}