OpenM3D：无人工标注的开放词汇多视角室内3D目标检测
摘要
开放词汇(OV)3D目标检测是一个新兴领域，但其通过基于图像的方法的探索在3D点云方法中仍有限。我们介绍 OpenM3D，一种 novel 开放词汇多视角室内3D目标检测器，无需人工标注。在 particular，OpenM3D 是一个 single-stage 检测器，adapting 2D-induced voxel features 来自 ImGeoNet 模型。为支持 OV，它在需要 high-quality 3D pseudo boxes 和需要多样化 pre-trained CLIP features 的 voxel-semantic alignment loss 之间进行 joint training。我们 follow 了 OV-3DET 的 training setting，其中给定姿态 RGB-D 图像但无人工 3D boxes 或 classes 标注。我们提出了一种3D伪盒生成方法，使用 graph embedding 技术将 2D segments 组合成连贯的 3D 结构。我们的伪盒在 precision 和 recall 上优于其他方法，包括 OV-3DET 提出的方法。我们进一步从与每个连贯 3D 结构相关的 2D segments 中采样 diverse CLIP features 来与相应的 voxel feature 对齐。single-stage 检测器 achieving high accuracy 的关键在于两个 loss 都要 learn toward high-quality targets。在推断时，OpenM3D 是一个 highly efficient 检测器，只需 multi-view 图像输入，并在 ScanNet200 和 ARKitScenes indoor benchmarks 上优于现有方法的 accuracy 和 speed (0.3 sec. per scene)。我们优于一个强大的 two-stage 方法，该方法利用我们的 class-agnostic 检测器配合 ViT CLIP-based OV classifier 和 baseline 集成 multi-view depth estimator 在 accuracy 和 speed 上都表现更好。
引用
@article{arxiv.2508.20063,
title = {OpenM3D: Open Vocabulary Multi-view Indoor 3D Object Detection without Human Annotations},
author = {Peng-Hao Hsu and Ke Zhang and Fu-En Wang and Tao Tu and Ming-Feng Li and Yu-Lun Liu and Albert Y. C. Chen and Min Sun and Cheng-Hao Kuo},
journal= {arXiv preprint arXiv:2508.20063},
year = {2025}
}
备注
ICCV2025