拓扑辅助的时空模式解耦用于大规模自主交通控制中的可扩展多智能体强化学习
人工智能
2025-06-17 v1
摘要
智能交通系统（ITS）已被视为缓解城市交通拥堵的有前景方案，其中交通信号控制（TSC）被确定为关键组成部分。尽管多智能体强化学习（MARL）算法已展现出通过实时决策优化TSC的潜力，但其可扩展性和有效性在大规模复杂环境中常受损害。这些限制主要源于环境异质性驱动的状态空间指数增长与当前解决方案有限建模能力之间的根本不匹配。为解决这些问题，本文提出了一种新型MARL框架，融合了动态图神经网络（DGNN）和拓扑数据分析（TDA），旨在增强环境表征的表达能力并改善智能体协调。此外，受大语言模型（LLMs）中专家混合（MoE）架构的启发，提出了一种拓扑辅助的空间模式解耦（TSD）增强MoE，利用拓扑特征将图特征解耦以进行专门化处理，从而提升模型刻画动态和异构局部观测的能力。TSD模块也被集成到多智能体近端策略优化（MAPPO）算法的策略和价值网络中，进一步提升决策效率和鲁棒性。在真实交通场景上进行的广泛实验以及全面的理论分析验证了所提框架的优越性能，突出了该模型在应对大规模TSC任务复杂性方面的可扩展性和有效性。
引用
@article{arxiv.2506.12453,
title = {Topology-Assisted Spatio-Temporal Pattern Disentangling for Scalable MARL in Large-scale Autonomous Traffic Control},
author = {Rongpeng Li and Jianhang Zhu and Jiahao Huang and Zhifeng Zhao and Honggang Zhang},
journal= {arXiv preprint arXiv:2506.12453},
year = {2025}
}