面向多种模拟驾驶机动的自动驾驶深度强化学习综合训练与评估
机器人学
2023-08-21 v2 人工智能
机器学习
系统与控制
系统与控制
摘要
在现实世界中开发和测试自动驾驶模型可能具有挑战性甚至危险性，而仿真可以在此方面提供帮助，特别是对于具有挑战性的驾驶机动。深度强化学习 (DRL) 有潜力通过与环境交互学习来解决复杂的决策和控制任务，因此适用于开发自动驾驶，但目前尚未得到详细探讨。本研究通过在 highway-env 仿真平台上实现、评估和比较两种 DRL 算法——深度 Q 网络 (DQN) 和信任区域策略优化 (TRPO)，对训练高速公路自动驾驶进行了全面研究。我们开发了有效且定制的奖励函数，并从车道保持精度（车辆在车道内行驶的良好程度）、效率（车辆行驶的速度）、安全性（车辆撞向障碍物的可能性）和舒适度（车辆产生顿挫感的程度，例如突然加速或刹车）等方面对实现的算法进行了评估。结果表明，采用修改后奖励函数的基于 TRPO 的模型在大多数情况下表现最佳。此外，为了训练一个能够处理特定机动之外的各种驾驶机动的通用驾驶模型，本研究扩展了 highway-env，并开发了一个额外的定制训练环境，即 ComplexRoads，将各种驾驶机动和多种道路场景整合在一起。在所设计的 ComplexRoads 环境上训练的模型能够很好地适应其他驾驶机动，并具有令人满意的整体性能。最后，我们在 highway-env 中添加了若干功能以实现本工作。代码已在 GitHub 开源：https://github.com/alaineman/drlcarsim-paper。
引用
@article{arxiv.2306.11466,
title = {Comprehensive Training and Evaluation on Deep Reinforcement Learning for Automated Driving in Various Simulated Driving Maneuvers},
author = {Yongqi Dong and Tobias Datema and Vincent Wassenaar and Joris van de Weg and Cahit Tolga Kopar and Harim Suleman},
journal= {arXiv preprint arXiv:2306.11466},
year = {2023}
}
备注
6 pages, 3 figures, accepted by the 26th IEEE International Conference on Intelligent Transportation Systems (ITSC 2023)