面向室内3D目标检测的3DGS-DET：边界引导与盒子聚焦采样
摘要
神经辐射场( NeRF)已被 adapted 用于室内3D目标检测(3DOD)，提供了一种通过视图合成表示进行室内3DOD的有前景的方案。但其隐式性质限制了表征能力。最近，3D高斯溅写(3DGS)作为一种显式3D表征克服了这一限制。本工作首次将3DGS引入室内3DOD，识别出两个主要挑战：(i)高斯blob的模糊空间分布——3DGS主要依赖2D像素级监督，导致高斯blob在3D空间中的空间分布不清晰，且对象与背景之间的区分差强，阻碍室内3DOD；(ii)过多的背景blob——2D图像通常包含大量背景像素，导致3DGS密集重建，包含大量代表背景的噪声高斯blob，对检测产生负面影响。为解决(i)，我们利用3DGS重建源自2D图像的事实，提出一种优雅的解决方案，通过 incorporating 2D边界引导来显著增强高斯blob的空间分布，实现对象与其背景之间的清晰区分(请参见fig:teaser)。为解决(ii)，我们提出一种盒子聚焦采样策略，使用2D框生成3D空间中的对象概率分布，允许在3D中进行有效的概率采样，以保留更多对象blob并减少噪声背景blob。得益于这些创新，3DGS-DET显著优于最新的基于NeRF的方法NeRF-Det++，在ScanNet上实现了在[email protected]和[email protected]上的提升分别为+6.0和+7.8，在ARKITScenes上实现了在[email protected]上的提升为+14.9。
引用
@article{arxiv.2410.01647,
title = {3DGS-DET: Empower 3D Gaussian Splatting with Boundary Guidance and Box-Focused Sampling for Indoor 3D Object Detection},
author = {Yang Cao and Yuanliang Ju and Dan Xu},
journal= {arXiv preprint arXiv:2410.01647},
year = {2026}
}
备注
The code and models will be made publicly available upon acceptance at: \href{https://github.com/yangcaoai/3DGS-DET}{https://github.com/yangcaoai/3DGS-DET}