基于实例引导的雷达深度估计用于3D目标检测

准确的深度估计是3D感知在自动驾驶中的基础，支持检测、跟踪和运动规划等任务。然而，单目相机-based的3D检测 suffers from depth ambiguity and reduced robustness under challenging conditions。雷达提供了抗 poor lighting和adverse weather的鲁棒性优势，但其稀疏性和低分辨率限制了其在检测框架中的直接使用。这促使需要有效的雷达-相机融合及改进的预处理和深度估计策略。我们提出了一个端到端框架，通过两个关键组件来增强单目3D目标检测。首先，我们引入InstaRadar，一种基于实例分割引导的扩展方法，利用预训练的分割掩码增强雷达密度和语义对齐，生成更结构化的表示。InstaRadar在雷达引导的深度估计中实现了最新成果，显示其在生成高质量深度特征方面的有效性。其次，我们将预训练的RCDPT集成到BEVDepth框架中作为其深度模块的替代方案。在InstaRadar增强的输入下，RCDPT集成 consistently 改善了3D检测性能。总体而言，这些组件均优于基准BEVDepth模型，显示出InstaRadar和显式深度监督在3D目标检测中的有效性。尽管该框架在雷达-相机融合模型（直接提取BEV特征）方面表现不如之下，由于雷达仅作为引导而非独立特征流，此限制凸显了潜在的改进空间。未来工作将将InstaRadar扩展到点云类表示，并集成带有时序线索的专用雷达支路，以实现更好的BEV融合。