IG-RL：面向大规模交通信号控制的归纳图强化学习
机器学习
2021-09-22 v6 机器学习
摘要
扩展自适应交通信号控制需应对组合式的状态与动作空间。多智能体强化学习试图通过将控制分配给专门智能体来应对此挑战。然而，专门化阻碍了泛化与可迁移性，且作为多智能体设置主导的神经网络架构底层的计算图，无法灵活处理任意数量的实体——这些实体在路网之间以及车辆穿越路网的过程中均会变化。我们提出基于图卷积网络的归纳图强化学习(IG-RL)，其适配任意路网结构，以学习交通控制器及其周边环境的细致表征。我们的去中心化方法能够学习可迁移的自适应交通信号控制策略。在任意路网集合上训练后，我们的模型无需额外训练且参数量恒定，即可泛化至新路网、交通分布与交通体制，相较先前方法具备更强可扩展性。此外，我们的方法可通过在车道与车辆层面捕捉(动态)需求来利用可用数据的粒度。所提方法在训练期间从未见过的路网与交通设置上进行了测试。我们将IG-RL与多智能体强化学习及领域特定基线比较。在合成路网及涉及曼哈顿3,971个交通信号控制的大规模实验中，我们展示了不同实例化的IG-RL均优于基线。
引用
@article{arxiv.2003.05738,
title = {IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control},
author = {François-Xavier Devailly and Denis Larocque and Laurent Charlin},
journal= {arXiv preprint arXiv:2003.05738},
year = {2021}
}
备注
11 pages, 10 figures, 1 table. IEEE Transactions on Intelligent Transportation Systems (2021)