通过跨视图相关性提升实例感知：基于4D雷达和摄像机的3D目标检测

4D毫米波雷达因其鲁棒性和可负担性而成为自动驾驶的前景传感模态。然而，其稀疏且弱几何线索使得可靠的实例激活困难，限制了现有雷达-摄像机融合范式的有效性。BEV级融合提供全局场景理解但 suffers from 弱实例聚焦，视角级融合捕获实例细节但缺乏整体上下文。为此，我们提出SIFormer，这是一个用于4D雷达和摄像机3D目标检测的场景-实例感知变换器。SIFormer首先通过分段和深度引导的局部分辨抑制背景噪声。随后引入跨视图激活机制，将2D实例线索注入BEV空间，实现弱雷达几何下的可靠实例感知。最后，一个基于变换器的融合模块聚合互补的图像语义和雷达几何，实现稳健感知。因此，为增强实例感知，SIFormer桥接了两种范式之间的差距，结合其互补优势以应对雷达固有的稀疏性并提高检测精度。实验表明，SIFormer在View-of-Delft、TJ4DRadSet和NuScenes数据集上实现了最先进的性能。源码可在github.com/shawnnnkb/SIFormer获取。