手术视频分析中 Segment Anything Model 的系统评估与准则
计算机视觉与模式识别
2025-11-27 v3
摘要
手术视频分割是AI解释手术空间时间动力学的关键，但模型性能受限于标注数据有限。SAM2 模型预训练于自然视频，展现出零样本手术分割的潜力，但其在复杂手术环境中的适用性尚未探讨，后者面临组织变形和器械可变性等挑战。我们对 SAM2 在9个手术数据集(17种手术类型)中的零样本能力进行了首次全面评估，涵盖腹腔镜、内镜和机器人手术。我们分析了各种提示(点、框、掩模)和微调(稠密、稀疏)策略，对手术挑战的鲁棒性，以及在不同程序和解剖结构间的泛化能力。关键发现表明，尽管SAM2在结构化场景(如器械分割、多器官分割和场景分割)中展现出显著的零样本适应性，但在动态手术条件下性能呈现差异，凸显了在处理时序一致性和领域特定伪影方面的不足。这些结果为手术数据科学领域的自适应数据高效解决方案指明了未来路径。
引用
@article{arxiv.2501.00525,
title = {Systematic Evaluation and Guidelines for Segment Anything Model in Surgical Video Analysis},
author = {Cheng Yuan and Jian Jiang and Kunyi Yang and Lv Wu and Rui Wang and Zi Meng and Haonan Ping and Ziyu Xu and Yifan Zhou and Wanli Song and Hesheng Wang and Yueming Jin and Qi Dou and Yutong Ban},
journal= {arXiv preprint arXiv:2501.00525},
year = {2025}
}