基于 DRL 的 CAV 网络多智能体协同控制框架：图卷积 Q 网络

联网自动驾驶车辆（CAV）网络可定义为在多车道走廊不同位置运行的 CAV 的集合，其提供了一个促进运行信息与管控指令传播的平台。协同在 CAV 操作系统中至关重要，因为它可大幅提升安全与机动性方面的运行，且通过 CAV 网络内联合规划与控制可期望实现 CAV 间高层协同。然而，由于高度动态与组合性质（如智能体（CAV）数量动态及多智能体驾驶任务中联合动作空间指数增长），实现协同控制是 NP 难的，且无法由任何简单基于规则的方法治理。此外，现有文献富含关于自动驾驶感知技术与控制逻辑的信息，但关于如何融合协同感知所获信息并基于融合信息构建决策处理器则指导相对较少。本文提出一种基于深度强化学习（DRL）、结合图卷积神经网络（GCN）与深度 Q 网络（DQN）的新方法，即图卷积 Q 网络（GCQ），作为信息融合模块与决策处理器。所提模型可聚合协同感知所获信息，并为多辆 CAV 输出安全且协同的换道决策，从而即便在高度动态且部分可观测的混合交通下也能满足个体意图。所提算法可部署于路侧单元（RSU）或云平台等集中式控制基础设施以改进 CAV 运行。