NeRF-DetS：用于 NeRF 基于室内多视角 3D 目标检测的增强自适应空间感采样与视角感融合策略
计算机视觉与模式识别
2024-12-31 v2
摘要
在室内场景中，物体位置和尺度的多样化分布使得视觉 3D 感知任务面临巨大挑战。前期工作（如 NeRF-Det）已证明，隐式表示具有在输入图像之间重叠度较高的室内场景中为视觉 3D 感知任务提供潜在优势的能力。然而，前期工作无法充分利用隐式表示的发展，原因在于固定采样和简单的数视角特征融合。在本文中，灵感来源于稀疏方法（如 DETR3D），我们提出一种简单而有效的方法，NeRF-DetS，以解决上述问题。NeRF-DetS 包含两个模块：渐进式自适应采样策略（PASS）和深度引导的简化多头注意力融合（DS-MHA）。具体而言：（1）PASS 可自动对密集 3D 检测器的各层进行特征采样，通过前一层预测的偏移量实现；（2）DS-MHA 不仅能够高效融合具有强遮挡感知能力的数视角特征，还能降低计算成本。大量实验表明，我们的 NeRF-DetS 在 ScanNetV2 数据集上优于 NeRF-Det，在 IoU25 和 IoU50 下分别实现了 +5.02% 和 +5.92% 的 mAP 提升。此外，NeRF-DetS 在 ARKITScenes 上也表现出一致的改进。
引用
@article{arxiv.2404.13921,
title = {NeRF-DetS: Enhanced Adaptive Spatial-wise Sampling and View-wise Fusion Strategies for NeRF-based Indoor Multi-view 3D Object Detection},
author = {Chi Huang and Xinyang Li and Yansong Qu and Changli Wu and Xiaofan Li and Shengchuan Zhang and Liujuan Cao},
journal= {arXiv preprint arXiv:2404.13921},
year = {2024}
}