FitLight：基于联邦模仿学习的即插即用式自主交通信号控制
机器学习
2025-02-18 v1 人工智能
摘要
虽然基于强化学习(RL)的交通信号控制(TSC)方法已被广泛研究，但其实际应用仍面临高学习成本和poor generalizability等严重问题。这是因为“试错式”训练方式使得RL代理高度依赖于特定的交通环境，并且需要较长的收敛时间。为此，我们提出了一种基于联邦模仿学习(Federated Imitation Learning, FIL)的框架，用于多路口TSC，命名为FitLight，该框架允许RL代理在无需额外预训练的情况下即插即用。不同于现有的模仿学习方法依赖演示进行预训练RL代理，FitLight支持实时模仿学习，并能无缝过渡到强化学习。由于我们提出的知识共享机制和新型混合压力基代理设计，RL代理仅需少量episode即可快速找到最佳控制策略。此外，针对资源受限的TSC场景，FitLight支持模型修剪和异构模型聚合，使得RL代理可以在仅拥有16KB RAM和32KB ROM的微控制器上运行。大量实验表明，与最新方法相比，FitLight不仅提供了更好的起始点，还能在真实数据集和合成数据集上收敛到更好的最终解，即使在极端资源限制下也能做到这一点。
引用
@article{arxiv.2502.11937,
title = {FitLight: Federated Imitation Learning for Plug-and-Play Autonomous Traffic Signal Control},
author = {Yutong Ye and Yingbo Zhou and Zhusen Liu and Xiao Du and Hao Zhou and Xiang Lian and Mingsong Chen},
journal= {arXiv preprint arXiv:2502.11937},
year = {2025}
}