当跟踪失败时：分析 SAM2 在手术视频点跟踪中的失败模式
计算机视觉与模式识别
2025-10-03 v1 人工智能
摘要
诸如 SAM2 之类的视频目标分割（VOS）模型为手术视频提供了有前景的零样本跟踪能力，仅需最少的用户输入。在可用的输入类型中，基于点的跟踪提供了一种高效且低成本的替代方案，但其在复杂手术环境中的可靠性和失败案例尚不明确。在本工作中，我们系统地分析了腹腔镜胆囊切除术视频中点跟踪的失败模式。聚焦于胆囊、抓钳和 L-hook 电凝钩这三个手术目标，我们比较了点跟踪与分割掩码初始化的性能。结果表明，点跟踪在手术工具上具有竞争力，但在解剖目标上表现始终不佳，组织相似性和模糊的边界导致了跟踪失败。通过定性分析，我们揭示了影响跟踪结果的关键因素，并提供了几项可操作的建议，以指导在手术视频分析中选择和放置跟踪点从而改善性能。
引用
@article{arxiv.2510.02100,
title = {When Tracking Fails: Analyzing Failure Modes of SAM2 for Point-Based Tracking in Surgical Videos},
author = {Woowon Jang and Jiwon Im and Juseung Choi and Niki Rashidian and Wesley De Neve and Utku Ozbulak},
journal= {arXiv preprint arXiv:2510.02100},
year = {2025}
}
备注
Accepted for publication in the 28th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI) Workshop on Collaborative Intelligence and Autonomy in Image-guided Surgery (COLAS), 2025