UniBEVFusion：用于3D目标检测的统一雷达-视觉BEV融合
计算机视觉与模式识别
2024-09-24 v1 人工智能
摘要
4 维毫米波（MMW）雷达提供高度信息和稠密点云数据，近年来在3D目标检测中越来越受欢迎。雷达-视觉融合模型在性能上接近基于LiDAR的模型，具有硬件成本更低、在极端条件下更鲁棒等优势。然而，许多雷达-视觉融合模型将雷达视为稀疏LiDAR，未充分利用雷达特有信息。此外，这些多模态网络对单一模态的失效较为敏感，尤其是视觉模态。为此，我们提出了雷达深度升-抽-射（RDL）模块，将雷达特有数据整合到深度预测过程中，增强视觉鸟瞰视图（BEV）特征的质量。我们进一步引入统一特征融合（UFF）方法，使用共享模块提取不同模态的BEV特征。为评估多模态模型的鲁棒性，我们开发了新式失效测试（FT）消融实验，通过注入高斯噪声模拟视觉模态失效。我们在 View-of-Delft（VoD）和 TJ4D 数据集上进行了大量实验。结果表明，我们提出的统一BEVFusion（UniBEVFusion）网络在 TJ4D 数据集上显著优于最先进的模型，3D 和 BEV 目标检测精度分别提升了 1.44 和 1.72。
引用
@article{arxiv.2409.14751,
title = {UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection},
author = {Haocheng Zhao and Runwei Guan and Taoyu Wu and Ka Lok Man and Limin Yu and Yutao Yue},
journal= {arXiv preprint arXiv:2409.14751},
year = {2024}
}
备注
6 pages, 4 figues, conference