一种基于离线强化学习的全数据驱动真实交通信号控制方法
人工智能
2023-11-28 v1
摘要
交通信号控制（TSC）的优化对于高效的交通系统至关重要。近年来，强化学习（RL）技术已成为 TSC 的一种流行方法，并展现出高度自适应控制的前景。然而，现有基于 RL 的方法现实适用性很差，几乎没有任何成功部署。此类失败的原因主要在于依赖过度理想化的交通模拟器进行策略优化，以及使用无法从真实世界传感器直接获取的、不切实际的细粒度状态观测与奖励信号。本文提出一种用于真实交通信号控制（D2TSC）的全数据驱动且无模拟器的框架。具体而言，我们将成熟的交通流理论与机器学习相结合，构建奖励推断模型，从粗粒度交通数据推断奖励信号。利用推断的奖励，我们进一步提出一种样本高效的离线 RL 方法，以直接从真实世界路口的历史离线数据集学习信号控制策略。为评估我们的方法，我们从真实世界路口收集历史交通数据，并开发严格遵循真实数据特征的高度定制化仿真环境。我们通过大量实验证明，我们的方法优于常规和离线 RL 基线，并且具有好得多的现实适用性。
引用
@article{arxiv.2311.15920,
title = {A Fully Data-Driven Approach for Realistic Traffic Signal Control Using Offline Reinforcement Learning},
author = {Jianxiong Li and Shichao Lin and Tianyu Shi and Chujie Tian and Yu Mei and Jian Song and Xianyuan Zhan and Ruimin Li},
journal= {arXiv preprint arXiv:2311.15920},
year = {2023}
}
备注
15 pages, 6 figures