Open3DIS：基于 2D 掩码引导的开放词汇 3D 实例分割
计算机视觉与模式识别
2024-04-09 v3
摘要
我们引入了 Open3DIS，一种旨在解决 3D 场景中开放词汇实例分割问题的新方案。3D 环境中的物体表现出多样的形状、尺度和颜色，使得精确的实例级识别成为一项具有挑战性的任务。开放词汇场景理解的最新进展通过采用类别无关的 3D 实例提议网络进行物体定位，并为每个 3D 掩码学习可查询特征，在该领域取得了显著进展。尽管这些方法能产生高质量的实例提议，但在识别小尺度和几何模糊的物体时仍存在困难。我们方法的核心思想是一个新模块，它跨帧聚合 2D 实例掩码，并将其映射到几何连贯的点云区域作为高质量物体提议，从而解决上述局限性。然后将这些提议与 3D 类别无关实例提议相结合，以涵盖现实世界中广泛的物体。为了验证我们的方法，我们在三个著名数据集上进行了实验，包括 ScanNet200、S3DIS 和 Replica，结果表明在分割具有多样类别的物体方面，相较于现有方法取得了显著的性能提升。
引用
@article{arxiv.2312.10671,
title = {Open3DIS: Open-Vocabulary 3D Instance Segmentation with 2D Mask Guidance},
author = {Phuc D. A. Nguyen and Tuan Duc Ngo and Evangelos Kalogerakis and Chuang Gan and Anh Tran and Cuong Pham and Khoi Nguyen},
journal= {arXiv preprint arXiv:2312.10671},
year = {2024}
}
备注
CVPR 2024. Project page: https://open3dis.github.io/