RCM-Fusion：用于 3D 目标检测的雷达-相机多级融合
计算机视觉与模式识别
2024-05-17 v5
摘要
尽管 LiDAR 传感器已成功应用于 3D 目标检测，但雷达与相机传感器的经济性已引发对融合雷达与相机进行 3D 目标检测日益增长的兴趣。然而，先前的雷达-相机融合模型未能充分利用雷达信息的潜力。本文中，我们提出雷达-相机多级融合（RCM-Fusion），尝试在特征与实例两个层级融合两种模态。对于特征级融合，我们提出雷达引导 BEV 编码器，利用雷达鸟瞰图（BEV）特征的引导将相机特征转换为精确的 BEV 表征，并融合雷达与相机 BEV 特征。对于实例级融合，我们提出雷达栅格点优化模块，通过考虑雷达点云特性来降低定位误差。在公开 nuScenes 数据集上的实验表明，我们提出的 RCM-Fusion 在 nuScenes 3D 目标检测基准中基于单帧的雷达-相机融合方法中取得了最先进的性能。代码将公开可用。
引用
@article{arxiv.2307.10249,
title = {RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection},
author = {Jisong Kim and Minjae Seong and Geonho Bang and Dongsuk Kum and Jun Won Choi},
journal= {arXiv preprint arXiv:2307.10249},
year = {2024}
}
备注
Accepted by IEEE International Conference on Robotics and Automation (ICRA 2024, Oral presentation), 7 pages, 5 figures