基于深度强化学习的自主高速公路驾驶

自动驾驶车辆（AV）的运行空间可能多样且差异显著，这可能导致出现设计阶段未预设的场景。因此，制定基于规则的决策器来选择机动动作可能并不理想。类似地，事先设计先验代价函数再实时求解最优控制问题也可能无效。为解决这些问题并避免在遭遇未预见场景时出现异常行为，我们提出一种基于强化学习（RL）的方法，其中自车（即自动驾驶车辆）通过直接与模拟交通交互来学习决策。AV 的决策器实现为一个深度神经网络，为给定系统状态提供动作选择。在驾驶等关键应用中，缺乏显式安全概念的 RL 智能体可能不收敛，或可能需要极大量的样本才能找到可靠策略。为妥善解决该问题，本文将对强化学习融入一个额外的短视域安全检查（SC）。在关键场景中，若存在，安全检查也将向智能体提供一条替代的安全动作。这带来了两项新颖贡献。首先，它泛化了可能导致不良“近失”或“碰撞”的状态。其次，纳入安全检查可提供安全且稳定的训练环境。这显著提升了学习效率，同时不抑制有意义的探索，以确保安全且最优的学习行为。我们在高速公路驾驶场景中展示了所开发算法的性能，其中受训 AV 在高速公路环境中遭遇变化的交通密度。