StepAL：用于髓部手术视频的分步感知主动学习
计算机视觉与模式识别
2025-07-30 v1
摘要
主动学习（AL）可以在保持模型性能的同时减少手术视频分析的标注成本。然而，传统的 AL 方法是为图像或短视频剪辑开发的，对手术步骤识别不够理想，因为手术视频是长时间的未剪辑视频，存在步骤之间的依赖关系。这些方法通常选择单个帧或剪辑进行标注，而手术视频的标注者需要整个视频的上下文才能进行标注。为此，我们提出了 StepAL，一个为手术步骤识别中完整视频选择设计的主动学习框架。StepAL 集成了分步感知特征表示，该表示利用伪标签捕获每个视频中预测步骤的分布，并结合熵加权聚类策略。这种组合优先考虑那些既不确定又具有多样化步骤组成的视频进行标注。在两个髓部手术数据集（Cataract-1k 和 Cataract-101）上的实验表明，StepAL 持续地超过现有的主动学习方法，以更少的标注视频实现更高的步骤识别准确率。StepAL 为高效的手术视频分析提供了有效的方法，减少了开发计算机辅助手术系统的标注负担。
引用
@article{arxiv.2507.22059,
title = {StepAL: Step-aware Active Learning for Cataract Surgical Videos},
author = {Nisarg A. Shah and Bardia Safaei and Shameema Sikder and S. Swaroop Vedula and Vishal M. Patel},
journal= {arXiv preprint arXiv:2507.22059},
year = {2025}
}
备注
Accepted to MICCAI 2025