中文

LCS-TF:基于多智能体深度强化学习的智能换道系统以改善交通流

计算机与社会 2023-03-17 v1

摘要

由于对交通效率的重要影响,自由换道是自动驾驶车辆(AV)设计中的关键挑战之一。现有的智能换道方案主要聚焦于优化自车性能,因而泛化性能有限。近期研究越来越多地关注基于多智能体强化学习(MARL)的方法,通过多个智能体的紧密协调来克服基于自车方案的局限。尽管基于 MARL 的方法已展现出有前景的结果,但换道决策对路段整体交通流的潜在影响尚未被充分考虑。本文提出一种新颖的基于混合 MARL 的 AV 智能换道系统,旨在联合优化自车的局部性能与聚焦于给定路段整体交通流的全局性能。通过对相关交通文献的细致回顾,设计了一种新颖的状态空间,以整合与自车周围车辆相关的关键局部交通信息,以及由负责管理路段的路侧单元(RSU)获取的全局交通信息。我们构建了奖励函数,使智能体在考虑自车性能与交通流整体改善的前提下做出有效换道决策。设计了一种多智能体深度 Q 网络(DQN)算法来确定每个智能体的最优策略,以有效协作执行换道操作。LCS-TF 的性能通过与最先进 MARL 模型的广泛仿真对比得到评估。在交通效率、驾驶安全性与驾驶舒适性各方面,结果表明 LCS-TF 均表现出更优性能。

关键词

引用

@article{arxiv.2303.09070,
  title  = {LCS-TF: Multi-Agent Deep Reinforcement Learning-Based Intelligent Lane-Change System for Improving Traffic Flow},
  author = {Lokesh Chandra Das and Myounggyu Won},
  journal= {arXiv preprint arXiv:2303.09070},
  year   = {2023}
}