基于贝叶斯批判-调谐的强化学习及自适应压力用于多交叉口交通信号控制
系统与控制
2024-12-30 v2 人工智能
机器学习
多智能体系统
系统与控制
摘要
自适应交通信号控制（ATSC）系统是智能交通系统的关键组件，能够显著缓解城市交通拥堵。尽管强化学习（RL）方法在实现ATSC方面已显示出有前景的性能，但现有方法仍容易制定不合理的政策。因此，本文提出了一种新颖的基于贝叶斯批判-调谋的强化学习方法，结合自适应压力用于多交叉口信号控制（BCT-APLight）。在BCT-APLight中，设计了批判-调谋（CT）框架，这是一个两层贝叶斯结构，用于细化RL政策的过度信任。具体而言，基于贝叶斯推断的批判层提供对政策可信度的有效评估；基于贝叶斯决策的调谋层通过最小化负面评估时的后验风险来微调政策。同时，设计了基于注意力的自适应压力（AP）机制，以有效加权每条车道中的车辆队列，从而增强网络内交通运动的合理性表述。凭借CT框架和AP机制，BCT-APLight有效提升了RL政策的合理性。在广泛的交叉口布局实验中，我们使用模拟器对BCT-APLight进行了大量实验，结果表明其在七个真实世界数据集上优于其他最先进（SOTA）方法。具体而言，BCT-APLight将平均排队长度降低了**9.60%**，平均等待时间降低了**15.28%**。
引用
@article{arxiv.2412.16225,
title = {Bayesian Critique-Tune-Based Reinforcement Learning with Adaptive Pressure for Multi-Intersection Traffic Signal Control},
author = {Wenchang Duan and Zhenguo Gao and Jiwan He and Jinguo Xian},
journal= {arXiv preprint arXiv:2412.16225},
year = {2024}
}