一种用于联网自动驾驶车辆安全高效行为规划的多智能体强化学习方法
人工智能
2022-09-07 v3 机器学习
系统与控制
系统与控制
摘要
无线技术的最新进展使得联网自动驾驶车辆（CAVs）能够通过车对车（V2V）通信收集环境信息。在这项工作中，我们为CAVs设计了一个基于信息共享的多智能体强化学习（MARL）框架，以在决策时利用额外信息来提高交通效率与安全性。我们提出的安全actor-critic算法包含两项新技术：截断Q函数与安全动作映射。截断Q函数利用来自邻近CAVs的共享信息，使得在我们的大规模CAV系统算法中Q函数的联合状态与动作空间不会增长。我们证明了截断Q函数与全局Q函数之间近似误差的界。安全动作映射基于控制障碍函数，为训练和执行提供了可证明的安全保证。使用CARLA模拟器进行实验，我们表明我们的方法在不同CAV比例和不同交通密度下均能提升CAV系统的平均速度和舒适性效率。我们还表明我们的方法避免了不安全动作的执行，并始终与其他车辆保持安全距离。我们构建了拐角障碍物场景以表明共享视野可帮助CAVs更早观测到障碍物并采取动作避免交通拥堵。
引用
@article{arxiv.2003.04371,
title = {A Multi-Agent Reinforcement Learning Approach For Safe and Efficient Behavior Planning Of Connected Autonomous Vehicles},
author = {Songyang Han and Shanglin Zhou and Jiangwei Wang and Lynn Pepin and Caiwen Ding and Jie Fu and Fei Miao},
journal= {arXiv preprint arXiv:2003.04371},
year = {2022}
}
备注
This paper is submitted to IEEE Transactions on Intelligent Transportation Systems