面向队列稳定性与能效协同优化的通信高效多智能体强化学习在网联自动驾驶车辆协同自适应巡航控制中的应用
系统与控制
2024-06-18 v1 系统与控制
摘要
协同自适应巡航控制（CACC）已被公认为自动驾驶的一项基本功能，其中队列稳定性和能效是实际运行中难以兼顾的突出挑战。本文研究了基于多智能体强化学习算法（MARL）的网联自动驾驶车辆（CAV）的CACC，以同时优化队列稳定性和能效。通信带宽的最优利用是保证实际驾驶中学习性能的关键，因此本文提出了一种通信高效的MARL，通过将量化随机梯度下降（QSGD）和二元差分共识（BDC）方法融入完全去中心化的MARL框架中。我们通过评估队列稳定性、燃油经济性和驾驶舒适性，将所提出的BDC-MARL算法的性能与几种非通信和通信MARL算法（如IA2C、FPrint和DIAL）进行了基准测试。结果表明，BDC-MARL实现了最高的节能效果，提升幅度高达5.8%，平均速度为15.26米/秒，车间距为20.76米。此外，我们进行了不同的信息共享分析以评估通信效率，以及针对不同队列规模的敏感性分析和可扩展性测试。通过来自开源OpenACC的真实场景进一步证明了我们方法的实际有效性。
引用
@article{arxiv.2406.11653,
title = {Communication-Efficient MARL for Platoon Stability and Energy-efficiency Co-optimization in Cooperative Adaptive Cruise Control of CAVs},
author = {Min Hua and Dong Chen and Kun Jiang and Fanggang Zhang and Jinhai Wang and Bo Wang and Quan Zhou and Hongming Xu},
journal= {arXiv preprint arXiv:2406.11653},
year = {2024}
}