RC-BEVFusion：一种用于雷达-相机鸟瞰图特征融合的插件模块

雷达和相机是用于高级驾驶辅助系统和自动驾驶研究最常用的一类传感器。然而，关于雷达-相机神经网络融合的研究却少得惊人。原因之一是缺乏带有雷达和未掩膜相机数据的大规模自动驾驶数据集，nuScenes数据集除外。另一个原因是难以将鸟瞰图（BEV）平面上稀疏的雷达点云与透视平面上稠密的图像有效融合。近期基于相机的BEV特征三维目标检测趋势实现了一种新型融合，其更适用于雷达。在本工作中，我们提出RC-BEVFusion，一种在BEV平面上的模块化雷达-相机融合网络。我们提出BEVFeatureNet，一种新颖的雷达编码器分支，并展示其可融入多个最先进的基于相机的架构。我们展示了显著的性能提升，nuScenes检测分数最高提升28%，这是雷达-相机融合研究的重要一步。在未针对nuScenes基准调优模型的情况下，我们在所有已发表方法的雷达-相机融合类别中取得了最佳结果。