混合交通中使用强化学习与运动预测安全控制器的自主高速公路汇入
机器人学
2022-04-05 v1
摘要
深度强化学习（DRL）在解决自动驾驶中的复杂决策问题，尤其在自动驾驶车辆与人类驾驶车辆（HDVs）共同行驶的混合交通场景中具有巨大潜力。安全性是强化学习（RL）算法在学习与部署过程中的关键。本文将匝道汇入建模为马尔可夫决策过程（MDP）问题，并采用离策略RL算法即离散动作设置的Soft Actor-Critic（SAC-Discrete）求解。此外，提出一种包含运动预测器与动作替换模块的运动预测安全控制器，以保障训练与测试中的驾驶安全。运动预测器基于运动学模型估计自车与周围车辆的轨迹，并预测潜在碰撞。动作替换模块基于安全距离更新动作，并在发送至底层控制器前替换高风险动作。我们在具有三种不同交通模式级别的类gym高速公路仿真中训练、评估并测试了该方法。仿真结果表明，即使在更密集的交通中，所提方法在保持高效率的同时仍显著降低了碰撞率，在考虑的匝道汇入场景中优于多个state-of-the-art基线。评估过程视频演示见：https://www.youtube.com/watch?v=7FvjbAM4oFw
引用
@article{arxiv.2204.01024,
title = {Autonomous Highway Merging in Mixed Traffic Using Reinforcement Learning and Motion Predictive Safety Controller},
author = {Qianqian Liu and Fengying Dang and Xiaofan Wang and Xiaoqiang Ren},
journal= {arXiv preprint arXiv:2204.01024},
year = {2022}
}