OcRFDet: 面向自动驾驶多视图3D目标检测的以物体为中心的辐射场
计算机视觉与模式识别
2025-07-01 v1
摘要
当前的多视图3D目标检测方法通常通过深度估计或3D位置编码器将2D特征转移到3D空间，但这种方式是完全数据驱动且隐式的，限制了检测性能。受辐射场在3D重建上成功的启发，我们假设它们可用于增强检测器的3D几何估计能力。然而，我们观察到，当直接将其作为辅助任务用于3D渲染时，检测性能会下降。根据我们的分析，我们发现性能下降是由于渲染整个场景时背景上的强烈响应造成的。为了解决这个问题，我们提出了以物体为中心的辐射场，专注于建模前景物体，同时丢弃背景噪声。具体来说，我们采用以物体为中心的辐射场（OcRF），通过渲染前景物体的辅助任务来增强3D体素特征。我们进一步利用渲染的副产品——不透明度，通过基于高度感知的不透明度注意力（HOA）来增强2D前景BEV特征，其中不同高度级别的注意力图通过多个并行网络分别生成。在nuScenes验证和测试数据集上的大量实验表明，我们的OcRFDet实现了优越的性能，在nuScenes测试基准上以57.2%的mAP和64.8%的NDS超越了之前最先进的方法。代码将在 https://github.com/Mingqj/OcRFDet 提供。
引用
@article{arxiv.2506.23565,
title = {OcRFDet: Object-Centric Radiance Fields for Multi-View 3D Object Detection in Autonomous Driving},
author = {Mingqian Ji and Jian Yang and Shanshan Zhang},
journal= {arXiv preprint arXiv:2506.23565},
year = {2025}
}
备注
Accepted by ICCV2025