基于V2X信息的深度强化学习辅助车队控制
系统与控制
2022-03-30 v1 人工智能
系统与控制
摘要
本文研究了车联网(V2X)通信对车队控制性能的影响。车队控制本质上是一个序贯随机决策问题(SSDP),可通过深度强化学习(DRL)来求解,以同时处理控制约束以及车队前车行为中的不确定性。在此背景下,研究了V2X通信对于基于DRL的车队控制器的价值,重点在于系统状态中引入外生信息以降低不确定性所带来的增益与维度灾难导致的性能侵蚀之间的权衡。我们的目标是找到应在车辆间共享的特定信息集合,以构建最合适的状态空间。通过考虑“恰好充分”的信息,针对不同的信息拓扑(IFT)构建了车队控制的SSDP模型。此外,建立了用于比较其最优策略性能的定理。为了确定是否应传输某条信息以改进基于DRL的控制策略,我们通过推导转移模型的条件KL散度来量化其价值。更具价值的信息在传输中被赋予更高优先级,因为将其纳入状态空间有更高的概率抵消状态维度增大所带来的负面影响。最后,给出了仿真结果以阐释理论分析。
引用
@article{arxiv.2203.15781,
title = {Deep Reinforcement Learning Aided Platoon Control Relying on V2X Information},
author = {Lei Lei and Tong Liu and Kan Zheng and Lajos Hanzo},
journal= {arXiv preprint arXiv:2203.15781},
year = {2022}
}