基于深度强化学习的跟车控制中纵向动力学与运动学模型之比较
机器人学
2019-12-17 v2 机器学习
系统与控制
摘要
当前大多数通过深度强化学习（DRL）进行自动驾驶车辆控制的研究都使用质点运动学模型，忽略了包含加速度延迟与加速度指令动力学的车辆动力学。由感知与执行延迟引起的加速度延迟导致控制输入的延迟执行。加速度指令动力学决定了由于动力学原因，车辆实际加速度不会瞬时上升至期望的指令加速度。在本工作中，我们研究了将使用车辆运动学模型训练的 DRL 控制器应用于考虑车辆动力学的更真实驾驶控制的可行性。我们考虑一个特定的纵向跟车控制问题，即自适应巡航控制（ACC），该问题通过 DRL 使用质点运动学模型求解。当此类控制器被应用于考虑车辆动力学的跟车时，我们观察到跟车性能显著下降。因此，我们通过分别将延迟的控制输入与实际车辆加速度加入强化学习环境状态，重新设计 DRL 框架以适应加速度延迟与加速度指令动力学。训练结果表明，与动态规划解相比，重新设计的 DRL 控制器在考虑车辆动力学时实现了近乎最优的跟车控制性能。
引用
@article{arxiv.1905.08314,
title = {Longitudinal Dynamic versus Kinematic Models for Car-Following Control Using Deep Reinforcement Learning},
author = {Yuan Lin and John McPhee and Nasser L. Azad},
journal= {arXiv preprint arXiv:1905.08314},
year = {2019}
}
备注
Accepted to 2019 IEEE Intelligent Transportation Systems Conference