面向混合交通中高速公路匝道合流的多智能体深度强化学习
系统与控制
2022-11-08 v3 系统与控制
摘要
匝道合流对自动驾驶车辆（AV）而言是一项具有挑战性的任务，尤其在AV与人类驾驶车辆（HDV）共存的混合交通中。本文将混合交通高速公路匝道合流问题建模为多智能体强化学习（MARL）问题，其中AV（位于合流车道和直行车道）协作学习策略以适配HDV，从而最大化交通吞吐量。我们开发了一个高效且可扩展的MARL框架，可用于通信拓扑可能时变的动态交通。我们利用参数共享和局部奖励来促进智能体间合作，同时实现良好的可扩展性。我们采用动作掩码方案，通过在每一步过滤无效/不安全动作来提高学习效率。此外，我们开发了一种新颖的基于优先级的安全监督器，可显著降低碰撞率并大幅加快训练过程。我们开发了一个类gym的仿真环境并开源，包含三种不同交通密度等级。我们利用课程学习从较简单设定下训练好的模型高效学习更困难的任务。综合实验结果表明，所提出的MARL框架始终优于多个最先进的基准。
引用
@article{arxiv.2105.05701,
title = {Deep Multi-agent Reinforcement Learning for Highway On-Ramp Merging in Mixed Traffic},
author = {Dong Chen and Mohammad Hajidavalloo and Zhaojian Li and Kaian Chen and Yongqiang Wang and Longsheng Jiang and Yue Wang},
journal= {arXiv preprint arXiv:2105.05701},
year = {2022}
}
备注
15 figures