MultiCorrupt：用于 3D 物体检测的 LiDAR-相机融合多模态鲁棒性数据集与基准
计算机视觉与模式识别
2024-04-23 v3 人工智能
摘要
用于自动驾驶的多模态 3D 物体检测模型在 nuScenes 等计算机视觉基准测试中展现了卓越性能。然而，其对密集采样的 LiDAR 点云和精密校准的传感器阵列的依赖，给实际应用带来了挑战。传感器错位、校准不当以及采样频率差异等问题，导致 LiDAR 和相机数据出现空间和时间上的不对齐。此外，恶劣天气等不利环境条件往往损害 LiDAR 和相机数据的完整性，导致遮挡和噪声干扰。为应对这一挑战，我们推出了 MultiCorrupt，这是一个旨在评估多模态 3D 物体检测器针对十种不同腐蚀类型鲁棒性的综合基准。我们在 MultiCorrupt 上评估了五种最先进的多模态检测器，并分析了它们的抗干扰能力。结果表明，现有方法的鲁棒性程度因腐蚀类型和融合策略的不同而异。我们深入探讨了哪些多模态设计选择能使此类模型对特定扰动具有鲁棒性。数据集生成代码和基准已开源，地址为 https://github.com/ika-rwth-aachen/MultiCorrupt。
引用
@article{arxiv.2402.11677,
title = {MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection},
author = {Till Beemelmanns and Quan Zhang and Christian Geller and Lutz Eckstein},
journal= {arXiv preprint arXiv:2402.11677},
year = {2024}
}
备注
Code: https://github.com/ika-rwth-aachen/MultiCorrupt