Zoo3D：场景级别零样 3D 对象检测
计算机视觉与模式识别
2025-11-26 v1
摘要
3D 对象检测是空间理解的基本任务。真实世界的环境需要能够识别多样化、以前未见过的对象的方法，这仍是封闭集方法的主要局限。现有的 open-vocabulary 3D 检测器放宽了标注要求，但仍依赖于训练场景，无论是点云还是图像。我们进一步一步引入 Zoo3D，第一个 training-free 3D 对象检测框架。该方法通过对 2D 实例掩码进行图聚类来构建 3D 边界框，然后通过一种 novel open-vocabulary 模块（包含 best-view selection 和 view-consensus mask generation）分配语义标签。Zoo3D 以两种模式运行：zero-shot Zoo3D 需要完全没有训练，以及 self-supervised Zoo3D，后者通过训练一个 class-agnostic 检测器来 refine 3D 盒预测，该检测器在 Zoo3D-generated pseudo labels 上训练。此外，我们将 Zoo3D 扩展到直接处理带姿态甚至无姿态图像。跨越 ScanNet200 和 ARKitScenes 基准测试，Zoo3D 和 Zoo3D 均在 open-vocabulary 3D 对象检测方面取得了 state-of-the-art 结果。令人惊讶的是，我们的 zero-shot Zoo3D 超过了所有现有的 self-supervised 方法，这进一步证明了 training-free、off-the-shelf 方法在实际 3D 理解方面的强大潜力和适应性。代码可在 https://github.com/col14m/zoo3d 查看。
引用
@article{arxiv.2511.20253,
title = {Zoo3D: Zero-Shot 3D Object Detection at Scene Level},
author = {Andrey Lemeshko and Bulat Gabdullin and Nikita Drozdov and Anton Konushin and Danila Rukhovich and Maksim Kolodiazhnyi},
journal= {arXiv preprint arXiv:2511.20253},
year = {2025}
}