稀疏LIF：用于3D目标检测的高性能稀疏LiDAR-相机融合
计算机视觉与模式识别
2024-07-11 v2
摘要
自查询基方法接受低延迟且无需显式构建稠密BEV特征后，稀疏3D检测器受到了广泛关注。然而，这些检测器的性能优于稠密方法。本文发现弥合性能差距的关键在于增强两种模态中丰富表征的感知能力。我们提出了一种用于端到端多模态3D目标检测的高性能全稀疏检测器，称为SparseLIF。该检测器包含三个关键设计：(1) 基于视角的查询生成(PAQG)，用于生成带视角先验的高质量3D查询；(2) 基于RoI的抽样(RIAS)，通过从每种模态抽样RoI特征来进一步细化先验查询；(3) 基于不确定性的融合(UAF)，精确量化传感器模态的不确定性，并自适应地执行最终的多模态融合，从而在传感器噪声下实现良好的鲁棒性。在稿件提交时，SparseLIF在nuScenes数据集上实现了最先进的性能，位列验证集和测试基准的第1名，显著超越了所有最先进的3D目标检测器。
关键词
引用
@article{arxiv.2403.07284,
title = {SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object Detection},
author = {Hongcheng Zhang and Liu Liang and Pengxin Zeng and Xiao Song and Zhe Wang},
journal= {arXiv preprint arXiv:2403.07284},
year = {2024}
}
备注
The 18th European Conference on Computer Vision ECCV 2024