鲁棒动态公交控制：一种分布式多智能体强化学习方法
机器学习
2023-01-18 v1
摘要
公交系统是可持续城市交通的关键组成部分。然而，公交车队的运营本质上是不稳定的，公交串车已成为一种常见现象，损害了公交系统的效率和可靠性。最近的研究证明了多智能体强化学习 (MARL) 在实现高效车辆驻站控制以避免公交串车方面的应用前景。然而，现有研究基本上忽略了交通系统中各种事件、扰动和异常所导致的鲁棒性问题，而这一问题在将模型迁移到实际部署/应用时至关重要。在本研究中，我们整合隐式分位数网络和元学习，开发了一个分布式 MARL 框架——IQNC-M——来学习连续控制。所提出的 IQNC-M 框架通过更好地处理实时交通运营中的各种不确定性/事件，实现了高效且可靠的控制决策。具体而言，我们引入了一个可解释的元学习模块，将全局信息融入分布式 MARL 框架，这是规避交通系统中信用分配问题的有效解决方案。此外，我们设计了一个特定的学习过程来训练框架内的每个智能体，以追求鲁棒的控制策略。我们基于真实世界的公交服务和乘客需求数据开发了仿真环境，并针对传统驻站控制模型和最先进的 MARL 模型评估了所提出的框架。结果表明，所提出的 IQNC-M 框架能够有效处理各种极端事件，如交通状态扰动、服务中断和需求激增，从而提高了系统的效率和可靠性。
引用
@article{arxiv.2111.01946,
title = {Robust Dynamic Bus Control: A Distributional Multi-agent Reinforcement Learning Approach},
author = {Jiawei Wang and Lijun Sun},
journal= {arXiv preprint arXiv:2111.01946},
year = {2023}
}