稀疏标签下的 3D 部分点遇见 SAM：牙齿点云分割
计算机视觉与模式识别
2024-09-04 v1
摘要
牙齿点云分割是许多正畸应用中的基础任务。当前研究主要关注全监督学习，这需要昂贵且繁琐的逐点标注。虽然最近提出的弱监督方法试图使用弱标签进行 3D 分割并取得鼎舞效果，但在标签极度稀疏时往往难以实现。以 Segment Anything Model (SAM) 强大的可提示分段能力为灵感，我们提出了名为 SAMTooth 的框架，利用这种能力来补充极度稀疏的监督。为自动为 SAM 生成合适的点提示，我们提出了一种基于置信度的提示生成策略，其中聚合了粗糙的类别预测并进行置信度感知筛选。此外，为充分利用 SAM 输出中用于辅助 3D 特征学习的结构和形状线索，我们发展了一种基于掩码的表示学习，将生成的牙齿掩码在 3D 空间中重新投影，并约束不同牙齿的点具有鲜明的表示。为证明该框架的有效性，我们在公开数据集上进行实验，意外发现仅需 0.1\% 标注（每颗牙齿一点），本方法即可超过最近的弱监督方法，甚至与最近的全监督方法持相当水平，展现了将 SAM 应用于稀疏标签下 3D 感知任务的巨大潜力。代码可在 https://github.com/CUHK-AIM-Group/SAMTooth 上获取。
引用
@article{arxiv.2409.01691,
title = {When 3D Partial Points Meets SAM: Tooth Point Cloud Segmentation with Sparse Labels},
author = {Yifan Liu and Wuyang Li and Cheng Wang and Hui Chen and Yixuan Yuan},
journal= {arXiv preprint arXiv:2409.01691},
year = {2024}
}
备注
To appear at MICCAI24