HGSFusion：面向3D目标检测的混合生成与同步雷达-相机融合

毫米波雷达因其全天候和全光照条件的感知能力，在自动驾驶 3D 目标检测中发挥着至关重要的作用。然而，雷达点云存在明显的稀疏性和不可避免的角度估计误差。为了解决这些局限性，引入相机可能有助于部分缓解其缺陷。尽管如此，由于图像缺乏深度信息且在恶劣光照条件下图像特征质量低下，直接融合雷达与相机数据可能会导致负面甚至相反的效果。因此，本文提出了具有混合生成与同步功能的雷达-相机融合网络（HGSFusion），旨在更好地融合雷达潜力与图像特征以进行 3D 目标检测。具体而言，我们提出了雷达混合生成模块（RHGM），该模块充分考虑了雷达信号处理中的到达方向（DOA）估计误差。该模块在语义信息的辅助下，通过不同的概率密度函数（PDF）生成更密集的雷达点。同时，我们引入了双同步模块（DSM），包含空间同步和模态同步，以利用雷达位置信息增强图像特征，并促进不同模态下不同特征的融合。大量实验证明了我们方法的有效性，在 VoD 和 TJ4DRadSet 数据集上，RoI AP 和 BEV AP 分别比 SOTA 方法提升了 $6.53\%$ 和 $2.03\%$。代码可在 https://github.com/garfield-cpp/HGSFusion 获取。