通过安全强化学习增强混合自动驾驶车队中的系统级安全

由于通信技术和自动驾驶的进步，联网和自动驾驶车辆（CAV）最近在交通研究中获得了重要关注。人们开发了各种 CAV 纵向控制策略，以提高混合自动驾驶场景下的交通效率、稳定性和安全性。深度强化学习（DRL）是一种很有前景的混合自动驾驶车队控制策略，这得益于其在充分的离线训练后能够实时管理复杂场景的能力。然而，基于 DRL 的混合自动驾驶车队控制存在三个研究空白： 缺乏理论上的无碰撞保证； 广泛采用但不切实际的假设，即熟练且理性的驾驶员不会与前车发生碰撞； 对已知人类驾驶员模型的强假设。为了解决这些研究空白，我们提出了一种基于安全 DRL 的控制器，可以为混合自动驾驶车队控制提供系统级安全保证。首先，我们通过基于二次规划（QP）的可微神经网络层，将基于控制障碍函数（CBF）的安全约束与 DRL 相结合，以提供理论安全保证。其次，我们将系统级安全约束纳入所提方法，以兼顾 CAV 和其后方人类驾驶车辆（HDV）的安全，从而解决由非理性人类驾驶行为导致的潜在碰撞。第三，我们设计了一种基于学习的系统辨识方法，以估计实际系统中未知的人类跟车行为。仿真结果表明，我们提出的方法在混合车队环境中有效确保了 CAV 的安全并提高了 HDV 的安全性，同时提升了交通容量和弦稳定性。