自动驾驶中基于多视图传感器数据融合的改进感知与预测
计算机视觉与模式识别
2021-10-20 v2 机器学习
摘要
我们提出了一种利用LiDAR回波与相机图像多视图表示进行目标检测与轨迹预测的端到端方法。在这项工作中，我们认识到不同视图表示的优缺点，并提出了一种高效且通用的融合方法，以聚合所有视图的优势。我们的模型构建于最先进的鸟瞰图（BEV）网络之上，该网络融合来自历史LiDAR数据序列的体素化特征以及栅格化高精地图来执行检测与预测任务。我们使用额外的LiDAR距离视图（RV）特征扩展该模型，这些特征以其原生、非量化表示使用原始LiDAR信息。RV特征图被投影到BEV中，并与由LiDAR和高精地图计算的BEV特征融合。融合后的特征随后在单一端到端可训练网络中进一步处理以输出最终检测结果与轨迹。此外，利用该框架以直接且计算高效的方式执行LiDAR与相机的RV融合。所提出的多视图融合方法在由自动驾驶车队采集的专有大规模真实世界数据以及公开nuScenes数据集上改进了最先进水平，且计算成本仅微小增加。
引用
@article{arxiv.2008.11901,
title = {Multi-View Fusion of Sensor Data for Improved Perception and Prediction in Autonomous Driving},
author = {Sudeep Fadadu and Shreyash Pandey and Darshan Hegde and Yi Shi and Fang-Chieh Chou and Nemanja Djuric and Carlos Vallespi-Gonzalez},
journal= {arXiv preprint arXiv:2008.11901},
year = {2021}
}
备注
Accepted for publication at IEEE Winter Conference on Applications of Computer Vision (WACV) 2022