当三维包围盒遇见SAM：弱监督与含噪监督下的点云实例分割
计算机视觉与模式识别
2023-09-06 v1
摘要
从包围盒标注中学习在弱监督三维点云实例分割中展现出巨大潜力。然而，我们观察到现有方法在包围盒标注受扰动时会遭受严重的性能退化。为解决此问题，我们提出一种互补图像提示诱导的弱监督点云实例分割(CIP-WPIS)方法。CIP-WPIS利用嵌入于二维基础模型SAM中的预训练知识与三维几何先验，从包围盒标注中获得精确的点级实例标签。具体而言，CIP-WPIS首先选择实例的三维候选点完全可见的视图。然后，我们从投影生成互补的背景与前景提示，以获得SAM的二维实例掩码预测。据此，我们为点分配指示其属于该实例可能性的置信值。此外，我们利用超点提供的三维几何同质性来决定最终的实例标签分配。以此方式，我们实现了高质量的三维点级实例标签。在Scannet-v2和S3DIS基准上的大量实验表明，我们的方法对含噪三维包围盒标注具有鲁棒性，并达到了最先进的性能。
引用
@article{arxiv.2309.00828,
title = {When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with Weak-and-Noisy Supervision},
author = {Qingtao Yu and Heming Du and Chen Liu and Xin Yu},
journal= {arXiv preprint arXiv:2309.00828},
year = {2023}
}