X-Light：使用Transformer上的Transformer作为元多智能体强化学习器实现跨城市交通信号控制

当前基于强化学习的方法通过更好的多交通灯协作显著提高了交通灯控制的有效性。然而，一个持续存在的问题仍然存在：如何获得一个在不同城市间具有显著可迁移性的多智能体交通信号控制算法？在本文中，我们提出了一种用于跨城市元多智能体交通信号控制的Transformer上的Transformer（TonT）模型，命名为X-Light：我们输入完整的马尔可夫决策过程轨迹，下层Transformer聚合目标交叉口及其城市内邻居的状态、动作和奖励，上层Transformer学习不同城市间的通用决策轨迹。这种双层方法增强了模型的鲁棒泛化和可迁移性。值得注意的是，当直接迁移到未见场景时，我们的方法平均超过所有基线方法+7.91%，在某些情况下甚至达到+16.3%，取得了最佳结果。