从特权到预测:面向城市驾驶的感知运动强化学习
机器人学
2023-09-19 v1 计算机视觉与模式识别
摘要
强化学习(RL)有望在无需任何专家监督的情况下超越人类驾驶表现。尽管前景广阔,但由于 RL 算法固有的缺陷,感知运动自动驾驶的最先进水平仍由模仿学习方法主导。然而,当提供环境的特权真值表征时,RL 智能体能够发现高度成功的策略。在本工作中,我们研究城市驾驶中特权 RL 智能体与感知运动智能体之间的差异,以缩小二者之间的差距。我们提出基于视觉的深度学习模型,从传感器数据近似特权表征。具体而言,我们识别出对 RL 智能体成功至关重要的状态表征方面,如期望路线生成和停止区预测,并提出逐步开发特权更少的 RL 智能体的方案。我们还观察到,在离线数据集上训练的鸟瞰图模型由于分布不匹配而无法推广到在线 RL 训练。通过在 CARLA 仿真环境下的严格评估,我们阐明了状态表征在自动驾驶 RL 中的重要性,并指出未来研究中尚未解决的挑战。
引用
@article{arxiv.2309.09756,
title = {Privileged to Predicted: Towards Sensorimotor Reinforcement Learning for Urban Driving},
author = {Ege Onat Özsüer and Barış Akgün and Fatma Güney},
journal= {arXiv preprint arXiv:2309.09756},
year = {2023}
}
备注
7 pages