基于语义深度云映射与多智能体的端到端自动驾驶
机器人学
2022-06-23 v2 人工智能
计算机视觉与模式识别
摘要
针对自动驾驶车辆的点到点导航任务，我们提出了一种以端到端和多任务学习方式训练的深度学习模型，可同时执行感知与控制任务。该模型用于驱动自车沿全局规划器定义的一系列路径安全行驶。模型的感知部分用于编码由 RGBD 相机提供的高维观测数据，同时执行语义分割、语义深度云（SDC）映射以及交通灯状态和停车标志预测。随后，控制部分对编码特征以及 GPS 和速度计提供的额外信息进行解码，预测带有潜在特征空间的通路点。此外，采用两个智能体处理这些输出并制定控制策略，确定转向、油门和刹车的程度作为最终动作。该模型在 CARLA 仿真器上以包含正常-对抗情境及不同天气的多种场景进行评估，以模拟真实世界条件。此外，我们与一些近期模型进行了对比研究，以从驾驶多方面论证性能。而且，我们还对 SDC 映射和多智能体进行了消融研究，以理解其作用和行为。结果表明，我们的模型即使在参数和计算负载更少的情况下也取得了最高的驾驶分数。为支持未来研究，我们在 https://github.com/oskarnatan/end-to-end-driving 分享了代码。
引用
@article{arxiv.2204.05513,
title = {End-to-end Autonomous Driving with Semantic Depth Cloud Mapping and Multi-agent},
author = {Oskar Natan and Jun Miura},
journal= {arXiv preprint arXiv:2204.05513},
year = {2022}
}
备注
This work has been accepted for publication in IEEE Transactions on Intelligent Vehicles. The published version can be accessed at https://ieeexplore.ieee.org/document/9802907 or https://doi.org/10.1109/TIV.2022.3185303