3DTeethSAM：驯服 SAM2 进行 3D 牙齿分割

3D 牙齿分割涉及牙齿实例定位及其在 3D 牙科模型中的语义分类, 是数字牙科学中的关键且具有挑战性的任务, 由于真实牙弓的复杂性。本文提出了 3DTeethSAM, 一种将 Segment Anything Model 2（SAM2）适用于 3D 牙齿分割的方法。SAM2 是一种为图像和视频分割预训练的基础模型, 在 various downstream scenarios 中表现出强大的主干网络。为将 SAM2 适用于 3D 牙齿数据, 我们从预定义视角渲染 3D 牙齿模型的图像, 应用 SAM2 进行 2D 分割, 并通过 2D-3D 投影重建 3D 结果。由于 SAM2 的性能取决于输入提示, 且其初始输出常常存在缺陷, 且其类别无关特性, 我们引入三个轻量可学习模块: (1) 用于从图像嵌入生成提示嵌入以实现准确掩码解码的提示嵌入生成器, (2) 用于增强 SAM2 初始分割结果的掩码细化器, (3) 用于对生成的掩码进行分类的掩码分类器。此外, 我们将可变形全局注意力插件（DGAP）嵌入 SAM2 的图像编码器中。DGAP 增强了分割精度和训练过程的速度。我们的方法在 3DTeethSeg 基准测试中经过验证, 在高分辨率 3D 牙齿网格上实现了 91.90% 的 IoU, 建立了该领域新的状态-of-the-art。