回归基础：深度强化学习在交通信号控制中的应用
机器学习
2021-11-23 v2
摘要
本文中，我们重新审视了将强化学习(RL)用于自学习交通信号灯的一些基本前提。我们提出了 RLight，一种兼具鲁棒性能和对未知交通流良好泛化能力的组合方案。具体而言，我们的主要贡献有三方面：轻量且簇感知的状态表示带来了性能提升；我们重构了马尔可夫决策过程(MDP)以跳过黄灯的冗余时间步，将学习速度加快 30%；我们研究了动作空间并深入分析了非循环与循环相位转换之间性能差异的成因。此外，我们提供了关于方法对未知交通泛化能力的见解。使用真实世界杭州交通数据集的评估表明，RLight 优于最先进的基于规则和深度强化学习算法，展示了基于 RL 的方法改善城市交通流的潜力。
引用
@article{arxiv.2109.07180,
title = {Back to Basics: Deep Reinforcement Learning in Traffic Signal Control},
author = {Sierk Kanis and Laurens Samson and Daan Bloembergen and Tim Bakker},
journal= {arXiv preprint arXiv:2109.07180},
year = {2021}
}
备注
9 pages, 4 figures; minor textual improvements w.r.t. v1. Presented at the 10th Intl. Workshop on Urban Computing at ACM SIGSPATIAL 2021. Code for this paper is available at https://github.com/Amsterdam-Internships/Self-Learning-Traffic-Lights