多智能体交通控制中联合-局部接地动作转换
机器学习
2025-07-22 v1
摘要
交通信号控制（TSC）是管理城市交通流量和减轻拥堵的关键技术。强化学习（RL）提供了一种应对动态交通模式的自适应方法，多智能体强化学习（MARL）因交叉口自然构为协调智能体而受到青睐。然而，由于环境动态变化，实施MARL基于的TSC策略在实际中常导致显著性能下降，称为仿真到现实的差距。接地动作转换（GAT）已成功缓解了单智能体RL中TSC的仿真到现实差距，但现实交通网络涉及众多相互作用的交叉口，更适合采用MARL框架。本文引入JL-GAT，将GAT应用于MARL基于的TSC中，通过融合来自相邻智能体的信息，在可扩展性与增强接地能力之间进行权衡。JL-GAT采用分布式方法实现GAT，允许在实际交通网络中所需的可扩展性，同时仍捕获智能体之间的关键交互。针对各种道路网络，在模拟恶劣天气条件下的综合实验，以及消化研究，均证明了JL-GAT的有效性。代码已公开发布于https://github.com/DaRL-LibSignal/JL-GAT/。
引用
@article{arxiv.2507.15174,
title = {Joint-Local Grounded Action Transformation for Sim-to-Real Transfer in Multi-Agent Traffic Control},
author = {Justin Turnau and Longchao Da and Khoa Vo and Ferdous Al Rafi and Shreyas Bachiraju and Tiejin Chen and Hua Wei},
journal= {arXiv preprint arXiv:2507.15174},
year = {2025}
}
备注
This paper was accepted to RLC/RLJ 2025