ST-P3：基于时空特征学习的端到端视觉自动驾驶
计算机视觉与模式识别
2022-07-19 v2
摘要
许多现有自动驾驶范式涉及多阶段离散任务流水线。为了更好地预测控制信号并提升用户安全，一种受益于联合时空特征学习的端到端方法值得期待。尽管已有一些基于 LiDAR 输入或隐式设计的开创性工作，本文在一个可解释的基于视觉的设置中表述该问题。具体而言，我们提出一种时空特征学习方案，面向一组对感知、预测与规划任务同时更具代表性的特征，称为 ST-P3。具体地，提出以自我为中心的对齐累积技术，在鸟瞰图变换前于 3D 空间中保留几何信息以用于感知；设计双通路建模以将过去运动变化纳入未来预测；引入基于时间的细化单元以补偿规划中基于视觉元素的识别。据我们所知，我们首次系统性地研究了可解释端到端基于视觉的自动驾驶系统的各个部分。我们在开环 nuScenes 数据集以及闭环 CARLA 仿真上将我们的方法与先前 SOTA 方法进行基准对比。结果显示了我们方法的有效性。源代码、模型与协议细节已在 https://github.com/OpenPerceptionX/ST-P3 公开。
引用
@article{arxiv.2207.07601,
title = {ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning},
author = {Shengchao Hu and Li Chen and Penghao Wu and Hongyang Li and Junchi Yan and Dacheng Tao},
journal= {arXiv preprint arXiv:2207.07601},
year = {2022}
}
备注
ECCV 2022