融合 SAM 监督的 3D 弱监督点云分割
计算机视觉与模式识别
2025-08-28 v1
摘要
当前的 3D 语义分割方法通常通过有限的注释来训练模型，以解决大规模、不规则且无序的 3D 点云数据注释困难的问题。它们通常仅关注 3D 领域，未充分利用 2D 和 3D 数据的互补性。此外，一些方法会扩展原始标签或生成伪标签来指导训练，但往往未能充分利用这些标签，或未能解决其中的噪声问题。与此同时，新兴的全面且适应性强的基础模型的出现，为分割 2D 数据提供了有效的解决方案。基于这一进展，我们提出一种新方法，最大化稀疏可用 3D 注释的实用性，通过整合由 2D 基础模型生成的分割掩码来实现。我们进一步通过在 3D 场景与 2D 视图之间建立几何对应关系，将 2D 分割掩码传递到 3D 空间中。我们将高度稀疏的注释扩展到由 3D 掩码所 delineate 的区域，从而大幅增加可用标签的池子。此外，我们对 3D 点云的增广应用基于置信度和不确定性的一致性正则化，筛选出可靠的伪标签，并将其在 3D 掩码上进一步传播以生成更多标签。这种创新策略弥合了有限的 3D 注释与 2D 基础模型强大能力之间的差距，最终提高了 3D 弱监督分割的性能。
引用
@article{arxiv.2508.19909,
title = {Integrating SAM Supervision for 3D Weakly Supervised Point Cloud Segmentation},
author = {Lechun You and Zhonghua Wu and Weide Liu and Xulei Yang and Jun Cheng and Wei Zhou and Bharadwaj Veeravalli and Guosheng Lin},
journal= {arXiv preprint arXiv:2508.19909},
year = {2025}
}