RCBEVDet：用于三维目标检测的鸟瞰视角雷达-相机融合方法
计算机视觉与模式识别
2024-03-26 v1
摘要
三维目标检测是自动驾驶的关键任务之一。为降低实际应用中的成本，低成本的多视角相机被提出用于替代昂贵的 LiDAR 传感器进行三维目标检测。然而，仅依赖相机难以实现高精度且鲁棒的三维目标检测。解决此问题的一个有效方案是将多视角相机与经济的毫米波雷达传感器相结合，以实现更可靠的多模态三维目标检测。本文提出了 RCBEVDet，一种鸟瞰视角（BEV）下的雷达-相机融合三维目标检测方法。具体而言，我们首先设计了用于雷达 BEV 特征提取的 RadarBEVNet。RadarBEVNet 由双流雷达骨干网络和雷达散射截面（RCS）感知的 BEV 编码器组成。在双流雷达骨干网络中，提出了一个基于点的编码器和一个基于 Transformer 的编码器来提取雷达特征，并通过一个注入与提取模块促进两个编码器之间的通信。RCS 感知的 BEV 编码器将 RCS 作为目标尺寸先验，在 BEV 中散布点特征。此外，我们提出了交叉注意力多层融合模块，利用可变形注意力机制自动对齐来自雷达和相机的多模态 BEV 特征，然后通过通道和空间融合层融合特征。实验结果表明，RCBEVDet 在 nuScenes 和 view-of-delft（VoD）三维目标检测基准上取得了新的最先进的雷达-相机融合结果。此外，RCBEVDet 以 21~28 FPS 的更快的推理速度，取得了优于所有实时纯相机和雷达-相机三维目标检测器的三维检测结果。源代码将在 https://github.com/VDIGPKU/RCBEVDet 发布。
引用
@article{arxiv.2403.16440,
title = {RCBEVDet: Radar-camera Fusion in Bird's Eye View for 3D Object Detection},
author = {Zhiwei Lin and Zhe Liu and Zhongyu Xia and Xinhao Wang and Yongtao Wang and Shengxiang Qi and Yang Dong and Nan Dong and Le Zhang and Ce Zhu},
journal= {arXiv preprint arXiv:2403.16440},
year = {2024}
}
备注
Accepted by CVPR2024