ContextualFusion：恶劣操作条件下基于上下文的多传感器融合 3D 目标检测
计算机视觉与模式识别
2024-05-27 v1
摘要
多模态传感器数据流（如相机图像和激光雷达点云）的融合在自动驾驶车辆的运行中起着重要作用。自动驾驶车辆的广泛部署特别需要其在各种恶劣天气和光照条件下具备稳健的感知能力。虽然此前已开发出用于晴天和晴朗天气下感知的多传感器融合网络，但这些方法在夜间和恶劣天气条件下的性能显著下降。在本文中，我们提出了一种简单而有效的技术 ContextualFusion，将有关相机和激光雷达在不同光照和天气变化下表现不同的领域知识纳入 3D 目标检测模型。具体而言，我们设计了一种基于操作上下文的门控卷积融合方法用于传感器数据流的融合。为了辅助评估，我们使用开源模拟器 CARLA 创建了一个多模态恶劣条件数据集 AdverseOp3D，以解决现有数据集偏向白天和良好天气条件的缺陷。在我们上下文平衡的合成数据集上，我们的 ContextualFusion 方法比现有最优方法的 mAP 提高了 6.2%。最后，我们的方法在真实世界 NuScenes 数据集上提升了夜间现有最优的 3D 目标检测性能，mAP 显著提升了 11.7%。
引用
@article{arxiv.2404.14780,
title = {ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions},
author = {Shounak Sural and Nishad Sahu and Ragunathan Rajkumar},
journal= {arXiv preprint arXiv:2404.14780},
year = {2024}
}
备注
8 pages, 8 figures