面向多视角3D目标检测的几何优化增强型NeRF检测器
计算机视觉与模式识别
2025-03-20 v1
摘要
我们提出GO-N3RDet，这是一种基于神经辐射场(neural radiance fields)优化场景几何的多视角3D目标检测器。3D目标检测的关键在于有效的体素表示。然而，由于遮挡和缺乏3D信息，构建多视角2D图像的3D特征具有挑战性。为此，我们引入一种独特的3D位置信息嵌入体素优化机制，用于融合多视角特征。为优先考虑目标区域的神经场重建，我们还设计了NeRF分支的双重重要性抽样方案。我们另外提出一种不透明度优化模块，通过强制多视角一致性约束实现精确的体素不透明度预测。此外，为进一步提高多视角下体素密度的一致性，我们将射线距离作为加权因子，以最小化累计射线误差。我们的独特模块协同构成一个端到端的神经模型，在ScanNet和ARKITScenes上的大量实验表明，该方法在NeRF基准的多视角3D检测中建立了新的最先进水平。代码将在https://github.com/ZechuanLi/GO-N3RDet提供。
引用
@article{arxiv.2503.15211,
title = {GO-N3RDet: Geometry Optimized NeRF-enhanced 3D Object Detector},
author = {Zechuan Li and Hongshan Yu and Yihao Ding and Jinhao Qiao and Basim Azam and Naveed Akhtar},
journal= {arXiv preprint arXiv:2503.15211},
year = {2025}
}
备注
Accepted by CVPR2025