面向自适应交通信号控制的层次化联邦强化学习
机器学习
2026-02-10 v2
摘要
多智能体强化学习 (Multi-agent reinforcement learning, MARL) 已显示出针对自适应交通信号控制 (ATSC) 的潜力，使多个交叉口能够实时协调信号时序。然而，在大规模设置下，MARL 因数据共享和通信需求的限制而受到约束。联邦学习 (Federated learning, FL) 通过在不直接交换原始数据的情况下训练共享模型，缓解了这些挑战，但传统 FL 方法如 FedAvg 在面对高度异构的交叉口时表现不佳。不同的交叉口具有不同的交通模式、需求和道路结构，对所有智能体进行 FedAvg 是低效的。为此，我们提出了用于 ATSC 的层次化联邦强化学习 (Hierarchical Federated Reinforcement Learning, HFRL)。HFRL 采用基于聚类的或基于优化的技术，动态对交叉口进行分组，在具有相似特征的交叉口组内独立进行 FedAvg，从而实现比标准 FedAvg 更有效的协调和可扩展性。我们的实验在合成网络和真实网络中表明，HFRL 在各种场景下均一致优于去中心化和标准联邦 RL 方法，并在网络规模和异构性增加时实现与集中式 RL 相竞争或更好的性能，尤其在真实场景中表现突出。该方法还识别了基于网络结构或交通需求的合适分组模式，构建了一个更稳健的分布式异构系统框架。
引用
@article{arxiv.2504.05553,
title = {Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control},
author = {Yongjie Fu and Lingyun Zhong and Zifan Li and Xuan Di},
journal= {arXiv preprint arXiv:2504.05553},
year = {2026}
}