基于图状态表示的深入强化学习变速限控制
系统与控制
2024-05-16 v1 系统与控制
摘要
变速限（VSL）控制是一种既定且具有挑战性的问题，通过根据交通条件在适当位置定制速度限制来提高公路交通流动性并缓解瓶颈。最近的深度强化学习（DRL）进展在通过与复杂环境的交互来解决VSL控制问题方面显示出前景的效果。然而，这些方法的建模忽略了交通状态固有的图结构，这可以是更高效VSL控制的关键因素。图结构不仅可以捕捉静态空间特征，还能捕捉动态时间特征。因此，我们提出了DVS-RG：一种基于图状态表示的深度强化学习变速限控制器。DVS-RG在不同位置为不同车道提供不同的速度限制。将道路网络拓扑和交通信息（例如占用率、速度）整合为DVS-RG的状态空间，以便学习空间特征。使用规范化奖励，这种奖励结合了效率和安全性，用于训练VSL控制器以避免过度的低效或低安全。SUMO上的仿真结果表明，DRL-RG相对于最先进的DRL方法实现了更高的交通效率（平均等待时间降低至68.44%），并改善了安全措施（潜在碰撞数减少15.93%）。
引用
@article{arxiv.2405.09163,
title = {DVS-RG: Differential Variable Speed Limits Control using Deep Reinforcement Learning with Graph State Representation},
author = {Jingwen Yang and Ping Wang and Fatemeh Golpayegani and Shen Wang},
journal= {arXiv preprint arXiv:2405.09163},
year = {2024}
}