NeRF-Det++：融合语义线索与透视感知深度监督的室内多视图 3D 检测
计算机视觉与模式识别
2024-02-23 v1
摘要
NeRF-Det 通过创新性地利用 NeRF 增强表示学习，在室内多视图 3D 检测中取得了令人印象深刻的性能。尽管其性能显著，但我们发现了其当前设计中的三个决定性缺陷，包括语义模糊、采样不当以及深度监督利用不足。为了应对上述问题，我们提出了三种相应的解决方案：1) 语义增强。我们将 freely available 的 3D 分割标注投影到 2D 平面上，并利用相应的 2D 语义图作为监督信号，显著增强了多视图检测器的语义感知能力。2) 透视感知采样。我们不再采用均匀采样策略，而是提出了透视感知采样策略，即在相机附近密集采样而在远处稀疏采样，从而更有效地收集有价值的几何线索。3) 序数残差深度监督。与直接回归难以优化的深度值不同，我们将每个场景的深度范围划分为固定数量的序数区间，并将深度预测重新表述为深度区间分类与残差深度值回归的组合，从而有益于深度学习过程。由此产生的算法 NeRF-Det++ 在 ScanNetV2 和 ARKITScenes 数据集中展现了诱人的性能。值得注意的是，在 ScanNetV2 中，NeRF-Det++ 在 [email protected] 和 [email protected] 指标上分别比具有竞争力的 NeRF-Det 高出 +1.9% 和 +3.5%。代码将公开于 https://github.com/mrsempress/NeRF-Detplusplus。
引用
@article{arxiv.2402.14464,
title = {NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection},
author = {Chenxi Huang and Yuenan Hou and Weicai Ye and Di Huang and Xiaoshui Huang and Binbin Lin and Deng Cai and Wanli Ouyang},
journal= {arXiv preprint arXiv:2402.14464},
year = {2024}
}
备注
7 pages, 2 figures