基于异步多智能体强化学习的协同路径规划
人工智能
2024-09-04 v1
摘要
在本文中，我们研究了具有多个起点-终点对（MSD）的最短路径问题（SPP），即MSD-SPP，以最小化所有最短路径的平均行程时间。道路网络固有的交通容量限制导致了车辆之间的竞争。由于MSD-SPP中的异步决策设置，即车辆（又称智能体）无法在上一个时间步同时完成路径选择动作，多智能体强化学习（MARL）模型无法提供有效且高效的路径规划协同。为了解决效率问题，我们提出将整个道路网络划分为多个子图，然后执行区域间和区域内路径规划的两阶段过程。为了解决异步问题，在所提出的asyn-MARL框架中，我们首先设计了一个全局状态，该状态利用一个低维向量来隐式地表示多智能体的联合观察和动作。然后，我们开发了一种新颖的轨迹收集机制，以减少训练轨迹中的冗余。此外，我们设计了一个新颖的参与者网络，以促进前往相同或相近目的地的车辆之间的协同，并设计了一个可达性图，旨在防止路径规划中的无限循环。在合成和真实道路网络上，我们的评估结果表明，我们的方法优于最先进的规划方法。
引用
@article{arxiv.2409.00754,
title = {Cooperative Path Planning with Asynchronous Multiagent Reinforcement Learning},
author = {Jiaming Yin and Weixiong Rao and Yu Xiao and Keshuang Tang},
journal= {arXiv preprint arXiv:2409.00754},
year = {2024}
}