基准测试激光雷达-相机融合用于3D目标检测的鲁棒性
计算机视觉与模式识别
2022-05-31 v1
摘要
自动驾驶中用于3D感知的两个关键传感器是相机与LiDAR。相机提供颜色、纹理等丰富语义信息，而LiDAR反映周围物体的3D形状与位置。人们发现融合这两种模态可显著提升3D感知模型性能，因各模态互为互补信息。然而，我们观察到当前数据集采集自专为数据收集目的设计的昂贵车辆，且因种种原因无法真实反映实际数据分布。为此，我们收集了一系列具有噪声数据分布的真实世界案例，并系统构建了一个鲁棒性基准工具包，可在任意干净自动驾驶数据集上模拟这些案例。我们通过在两个广泛采用的自动驾驶数据集nuScenes与Waymo上建立鲁棒性基准展示了工具包有效性，并据我们所知首次整体基准测试了最先进的融合方法。我们观察到：i）大多数融合方法若仅在这些数据上开发，当LiDAR输入受扰时不可避免地失效；ii）相机输入的改进显著劣于LiDAR输入。我们进一步提出一种高效鲁棒训练策略以提升当前融合方法的鲁棒性。基准与代码见 https://github.com/kcyu2014/lidar-camera-robust-benchmark
引用
@article{arxiv.2205.14951,
title = {Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection},
author = {Kaicheng Yu and Tang Tao and Hongwei Xie and Zhiwei Lin and Zhongwei Wu and Zhongyu Xia and Tingting Liang and Haiyang Sun and Jiong Deng and Dayang Hao and Yongtao Wang and Xiaodan Liang and Bing Wang},
journal= {arXiv preprint arXiv:2205.14951},
year = {2022}
}
备注
Technical report. The first three authors contribute equally