REOcc：结合雷达特征增强的相机-雷达融合用于3D占据预测

基于视觉的3D占据预测取得了显著进展，但仅依赖相机在充满挑战的环境中仍存在困难。这一局限性推动了传感器融合的采用，其中相机-雷达融合因其互补优势而成为一种极具前景的解决方案。然而，雷达数据的稀疏性和噪声限制了其有效性，导致融合性能次优。在本文中，我们提出了 REOcc，一种新颖的相机-雷达融合网络，旨在为3D占据预测丰富雷达特征表示。我们的方法引入了两个主要组件：雷达致密器和雷达放大器，它们通过整合空间和上下文信息来细化雷达特征，有效提升了空间密度和质量。在 Occ3D-nuScenes 基准上的大量实验表明，REOcc 相比仅使用相机的基线模型取得了显著的性能提升，特别是在动态目标类别上。这些结果突显了 REOcc 缓解雷达数据稀疏性和噪声的能力。因此，雷达能更有效地补充相机数据，释放了相机-雷达融合在鲁棒且可靠的3D占据预测中的全部潜力。