基于李雅普诺夫函数一致的带背压与强化学习的自适应网络信号控制
系统与控制
2024-01-18 v2 人工智能
机器学习
系统与控制
最优化与控制
摘要
在交通信号控制中，基于流量（优化整体流量）与基于压力（均衡并缓解拥堵）的方法常用但常被视为独立。本研究使用李雅普诺夫控制理论引入统一框架，分别为这些方法定义特定的李雅普诺夫函数。我们有一些有趣发现。例如，广受认可的背压方法等于由交叉口车道饱和流加权的差分队列长度。我们进一步通过加入基本交通流理论对其改进。系统不仅应确保稳定，还应能自适应各种性能指标。基于李雅普诺夫理论的见解，本研究为基于强化学习（RL）的网络信号控制设计奖励函数，其智能体用 Double Deep Q-Network（DDQN）训练以对复杂交通网络有效控。所提算法分别在纯小客车流与含货运的异质交通流下与若干传统及基于 RL 的方法比较。数值测试表明，所提方法在不同交通场景（涵盖走廊与通用网络情形，各含变化交通需求）中，就每车平均网络车辆等待时间而言优于替代控制方法。
引用
@article{arxiv.2210.02612,
title = {Lyapunov Function Consistent Adaptive Network Signal Control with Back Pressure and Reinforcement Learning},
author = {Chaolun Ma and Bruce Wang and Zihao Li and Ahmadreza Mahmoudzadeh and Yunlong Zhang},
journal= {arXiv preprint arXiv:2210.02612},
year = {2024}
}