缺失数据下用于交通信号控制的强化学习方法
机器学习
2023-11-16 v2 人工智能
摘要
强化学习(RL)方法在交通信号控制任务中的出现已取得优于传统基于规则方法的性能。大多数RL方法需要智能体观测环境,以决定何种动作对长期奖励最优。然而,在真实城市场景中,由于传感器缺失,交通状态观测缺失可能频繁发生,这使得现有RL方法在具有观测缺失的路网上不适用。本工作中,我们旨在真实世界设定下控制交通信号,其中路网部分交叉口未安装传感器,因而其周边无直接观测。据我们所知,我们首次使用RL方法解决该真实设定下的交通信号控制问题。具体地,我们提出两种方案:第一种对交通状态进行插补以实现自适应控制,第二种对状态与奖励均进行插补以实现自适应控制及RL智能体训练。通过在合成与真实路网交通上的大量实验,我们揭示所提方法优于传统方法,且在不同缺失率下表现一致。我们还进一步探究了缺失数据如何影响模型性能。
引用
@article{arxiv.2304.10722,
title = {Reinforcement Learning Approaches for Traffic Signal Control under Missing Data},
author = {Hao Mei and Junxian Li and Bin Shi and Hua Wei},
journal= {arXiv preprint arXiv:2304.10722},
year = {2023}
}
备注
With appendix, Published as a conference paper at IJCAI2023