IntersectionZoo：用于基准测试多智能体情境强化学习的生态驾驶

尽管多智能体强化学习（RL）在模拟和双人应用中很受欢迎，但其在混乱的现实世界应用中的成功却十分有限。一个关键挑战在于其跨问题变体的泛化能力，这是许多现实世界问题的常见需求。情境强化学习（CRL）形式化了跨问题变体泛化的学习策略。然而，缺乏多智能体CRL的标准化基准阻碍了该领域的进展。此类基准应基于现实世界应用，以自然地捕捉影响泛化的现实世界问题中的许多开放挑战。为了弥补这一差距，我们提出了IntersectionZoo，这是一个通过城市道路网络中合作生态驾驶这一现实世界应用而构建的多智能体CRL综合基准套件。合作生态驾驶的任务是控制车队以减少车队级别的车辆排放。通过将IntersectionZoo植根于现实世界应用，我们自然地捕捉了现实世界问题的特征，例如部分可观测性和多个相互竞争的目标。IntersectionZoo建立在源自美国10个主要城市的16,334个信号化交叉口的数据驱动模拟之上，并在一个开源的工业级微观交通模拟器中建模。通过模拟影响车辆尾气排放的因素（例如温度、道路状况、出行需求），IntersectionZoo提供了100万个数据驱动的交通场景。利用这些交通场景，我们对流行的多智能体RL和类人驾驶算法进行了基准测试，并证明流行的多智能体RL算法难以在CRL设置中泛化。