一种用于城市交叉口智能交通信号控制的强化学习方法
系统与控制
2019-05-21 v1 信号处理
摘要
城市交叉口低效且不灵活的交通信号控制常导致交通流瓶颈，并引发拥堵、延误与环境问题。如何通过智能信号控制实现交通的智能化管理是城市交通管理中的重大挑战。随着机器学习尤其是强化学习（RL）的近期进展，利用先进机器学习技术进行交通信号控制，为解决该问题提供了有前景的方案。本文提出一种用于城市交叉口交通信号控制的 RL 方法。具体而言，我们使用神经网络作为 Q 函数逼近器（又称 Q 网络）来处理状态空间庞大、动作空间可为离散的复杂交通信号控制问题。状态空间基于实时交通信息定义，即车辆位置、方向与速度。动作空间包含各种交通信号相位，鉴于城市交通显著的时空特征，这些相位在生成合理且真实的控制机制中至关重要。在仿真实验中，我们使用开源交通仿真器 SUMO 构建真实的城市交叉口场景。此外，我们采用主要/次要道路交通、直行/左转车道交通、潮汐交通及变化需求交通等不同交通模式，训练可适应多种交通条件的通用交通信号控制模型。仿真结果表明，我们的 RL 方法具有收敛性与泛化性能，并且在排队长度与等待时间方面相较若干交通信号控制基准方法具有显著优势。
引用
@article{arxiv.1905.07698,
title = {A Reinforcement Learning Approach for Intelligent Traffic Signal Control at Urban Intersections},
author = {Mengyu Guo and Pin Wang and Ching-Yao Chan and Sid Askary},
journal= {arXiv preprint arXiv:1905.07698},
year = {2019}
}