机器人外科手术中的SAM 3：分割、3D感知与重建基准测试

近期SAM 3及SAM 3D在前任SAM 2方面取得了显著进展，尤其在语言基分割和增强3D感知能力方面。SAM 3支持跨越多种提示形式的零射分割，包括点、边界框和语言提示，实现更灵活直观的模型交互。在本实证评估中，我们评估了SAM 3在机器人辅助手术中的性能，基准测试其零射分割能力，探讨其在动态视频跟踪中的有效性，以及其新引入的语言提示分割。尽管语言提示在手术领域展现潜力，但目前表现不佳，凸显了需要进一步针对该领域进行训练的需求。此外，我们还考察了SAM 3D的深度重建能力，展示其处理手术场景数据并从2D图像重建3D解剖结构的能力。通过在MICCAI EndoVis 2017和EndoVis 2018基准测试上的全面测试，SAM 3在空间提示下的图像和视频分割均显著优于SAM和SAM 2；而SAM 3D在SCARED、StereoMIS和EndoNeRF等零射评估中表现出强大的单眼深度估计和逼真的3D器械重建能力，但也揭示了在复杂高度动态手术场景中仍存局限。