面向真实世界部署的强化学习交通信号控制
机器学习
2024-12-13 v3 系统与控制
系统与控制
摘要
交叉口交通信号控制器（TSC）中的次优控制策略会加剧拥堵，并对人类健康与环境产生负面影响。用于交通信号控制的强化学习（RL）是一种设计更优控制策略的有前景的方法，近年来引起了相当的研究兴趣。然而，该领域多数工作使用简化的交通场景仿真环境来训练基于 RL 的 TSC。要将 RL 部署到真实世界交通系统中，必须弥合简化仿真环境与真实应用之间的差距。因此，我们提出 LemgoRL，一个在德国中等城镇 Lemgo 的真实仿真环境中训练 RL 智能体作为 TSC 的基准工具。除真实仿真模型外，LemgoRL 还包含一个交通信号逻辑单元，以确保符合所有法规与安全要求。LemgoRL 提供与知名 OpenAI gym 工具包相同的接口，以便在现有研究中轻松部署。为演示 LemgoRL 的功能与适用性，我们利用分布式并行 RL 框架在 CPU 集群上训练了一种最先进的深度 RL 算法，并将其性能与其他方法比较。我们的基准工具有助于推动 RL 算法向真实世界应用发展。
引用
@article{arxiv.2103.16223,
title = {Towards Real-World Deployment of Reinforcement Learning for Traffic Signal Control},
author = {Arthur Müller and Vishal Rangras and Georg Schnittker and Michael Waldmann and Maxim Friesen and Tobias Ferfers and Lukas Schreckenberg and Florian Hufen and Jürgen Jasperneite and Marco Wiering},
journal= {arXiv preprint arXiv:2103.16223},
year = {2024}
}
备注
Paper was accepted by ICMLA 2021 (20th IEEE International Conference on Machine Learning and Applications). Code available under https://github.com/RL-INA/LemgoRL