基于深度强化学习的安全、高效、舒适且节能的环形交叉口自动驾驶

环形交叉口的交通场景对自动驾驶构成了极大的复杂性。手动将所有可能的场景映射到状态空间既费时又具挑战性。深度强化学习 (DRL) 凭借其与环境交互学习的能力，成为训练此类自动驾驶模型的有前景的解决方案。本研究探索、采用并实现了多种 DRL 算法，即深度确定性策略梯度 (DDPG)、近端策略优化 (PPO) 和信任区域策略优化 (TRPO)，以指导自动驾驶车辆驶过环形交叉口。本文设计了驾驶状态空间、动作空间和奖励函数。奖励函数考虑了安全性、效率、舒适度和能耗，以符合现实世界的需求。所有三种测试的 DRL 算法均成功使自动驾驶车辆驶过环形交叉口。为了全面评估这些算法的性能，本研究建立了一套考虑安全性、效率和舒适度等多个指标的评估方法。此外，还开发了一种采用层次分析法的方法来对这些评估指标进行加权。在各种测试场景下的实验结果表明，TRPO 算法在安全性和效率方面优于 DDPG 和 PPO，而 PPO 在舒适度方面表现最佳。最后，为了验证模型对其他驾驶场景的适应性和鲁棒性，本研究还将由 TRPO 训练的模型部署到了一系列不同的测试场景中，例如高速公路驾驶和汇入。实验结果表明，仅在环形交叉口驾驶场景上训练的 TRPO 模型在高速公路驾驶和汇入场景中表现出一定程度的熟练度。本研究为 DRL 自动驾驶在真实交通环境中的应用奠定了基础。