GeneraLight：基于元强化学习的交通信号控制环境泛化能力提升
机器学习
2020-09-18 v1 人工智能
机器学习
摘要
严重的交通拥堵问题一直是现代城市关注的焦点。为了缓解交通拥堵，近年来研究人员使用强化学习（RL）来开发更好的交通信号控制（TSC）算法。然而，大多数RL模型在相同的交通流环境中进行训练和测试，这导致了严重的过拟合问题。由于现实世界中的交通流环境不断变化，这些模型由于缺乏泛化能力而难以应用。此外，可获取的交通流数据数量有限，给测试模型的泛化能力带来了额外困难。在本文中，我们设计了一种基于Wasserstein生成对抗网络的新型交通流生成器，以生成充足、多样且高质量的交通流，并利用它们构建合适的训练和测试环境。然后，我们提出了一种元强化学习TSC框架GeneraLight，以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提升泛化性能。我们在多个真实世界数据集上进行了大量实验，展示了GeneraLight在泛化到不同交通流方面的优越性能。
引用
@article{arxiv.2009.08052,
title = {GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning},
author = {Chang Liu and Huichu Zhang and Weinan Zhang and Guanjie Zheng and Yong Yu},
journal= {arXiv preprint arXiv:2009.08052},
year = {2020}
}
备注
Proceedings of the 29th ACM International on Conference on Information and Knowledge Management (CIKM). ACM, 2020