使用 SAM2 重新审视手术视频分割中帧采样策略引入的评估偏差
计算机视觉与模式识别
2025-08-01 v3 人工智能
摘要
实时视频分割为 AI 辅助手术提供了一种有前景的机遇，可通过识别工具和解剖结构提供术中指导。尽管对手术视频分割的兴趣日益浓厚，但各数据集的标注协议差异很大——有些提供密集的逐帧标签，而另一些则依赖以低帧率（如 1 FPS）采样的稀疏标注。在本研究中，我们以 SAM2 作为胆囊切除术程序的案例，调查了标注密度和帧率采样的这种不一致性如何影响零样本分割模型的评估。令人惊讶的是，我们发现在传统的稀疏评估设置下，由于掩盖了时间不一致性的平滑效应，较低的帧率似乎能优于较高的帧率。然而，在实时流式条件下评估时，较高的帧率产生了更优的分割稳定性，特别是对于手术抓钳等动态物体。为了解这些差异与人类感知的一致性，我们在外科医生、护士和机器学习工程师中开展了一项调查，发现参与者始终偏好高 FPS 分割叠加，这强化了在实时应用中评估每一帧而非依赖稀疏采样策略的重要性。我们的发现突显了不一致的数据集协议所引入的评估偏差风险，并引起了对手术视频 AI 中时间公平基准测试的需求的关注。
引用
@article{arxiv.2502.20934,
title = {Revisiting the Evaluation Bias Introduced by Frame Sampling Strategies in Surgical Video Segmentation Using SAM2},
author = {Utku Ozbulak and Seyed Amir Mousavi and Francesca Tozzi and Niki Rashidian and Wouter Willaert and Wesley De Neve and Joris Vankerschaver},
journal= {arXiv preprint arXiv:2502.20934},
year = {2025}
}
备注
Accepted for publication in the 28th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI) Workshop on Fairness of AI in Medical Imaging (FAIMI), 2025