面向复杂场景下网联自动驾驶车辆的空间-时间感知安全多智能体强化学习
机器人学
2023-03-15 v3 人工智能
多智能体系统
摘要
通信技术实现了网联自动驾驶车辆（CAVs）之间的协调。然而，如何利用共享信息在动态且复杂的驾驶场景中提升CAV系统的安全性与效率仍不明确。在本工作中，我们提出了一种带并行安全屏障（Safety Shield）的约束多智能体强化学习（MARL）框架，用于包含未网联危险车辆的复杂驾驶场景中的CAVs。所提MARL的协调机制包括信息共享与协同策略学习，并以图卷积网络（GCN）-Transformer作为空间-时间编码器来增强智能体的环境感知。基于控制屏障函数（CBF）的安全检查的安全屏障模块保护智能体不采取不安全动作。我们设计了约束多智能体优势 actor-critic（CMAA2C）算法来训练CAVs的安全与协同策略。通过在CARLA仿真器中部署实验，我们在包含未网联危险车辆的若干复杂场景中通过对比实验验证了方法中设计的安全检查、空间-时间编码器与协调机制的性能。结果表明，我们提出的方法显著提升了复杂场景中的系统安全性与效率。
引用
@article{arxiv.2210.02300,
title = {Spatial-Temporal-Aware Safe Multi-Agent Reinforcement Learning of Connected Autonomous Vehicles in Challenging Scenarios},
author = {Zhili Zhang and Songyang Han and Jiangwei Wang and Fei Miao},
journal= {arXiv preprint arXiv:2210.02300},
year = {2023}
}
备注
This paper has been accepted by the 2023 IEEE International Conference on Robotics and Automation (ICRA 2023). 6 pages, 5 figures