SA3DIP：利用潜在三维先验分割任意三维实例
计算机视觉与模式识别
2024-11-07 v1
摘要
二维基础模型的普及激发了将其适配用于开放世界三维实例分割的研究。近期方法引入了一种利用超点作为几何基元并结合 Segment Anything Model (SAM) 的二维多视角掩码作为合并引导的范式，取得了出色的零样本实例分割结果。然而，对三维先验的有限使用限制了分割性能。先前的方法仅基于空间坐标估计的法线计算三维超点，导致具有相似几何结构的实例出现欠分割。此外，对 SAM 和二维空间中手工设计算法的严重依赖因 SAM 固有的部件级分割倾向而导致过分割。为解决这些问题，我们提出了 SA3DIP，一种通过利用潜在三维先验来分割任意三维实例的新方法。具体而言，一方面，我们基于几何和纹理先验生成互补的三维基元，减少了后续步骤中累积的初始误差。另一方面，我们通过使用三维检测器引入来自三维空间的补充约束，以指导进一步的合并过程。此外，我们注意到 ScanNetV2 基准中存在大量低质量的地面真值标注，影响了公平评估。因此，我们提出了 ScanNetV2-INS，包含完整的地面真值标签，并为三维类别无关的实例分割补充了额外实例。在各种二维-三维数据集上的实验评估证明了我们方法的有效性和鲁棒性。我们的代码和提出的 ScanNetV2-INS 数据集可在此获取。
引用
@article{arxiv.2411.03819,
title = {SA3DIP: Segment Any 3D Instance with Potential 3D Priors},
author = {Xi Yang and Xu Gu and Xingyilang Yin and Xinbo Gao},
journal= {arXiv preprint arXiv:2411.03819},
year = {2024}
}