SemiVT-Surge：用于手术阶段识别的半监督视频 Transformer
计算机视觉与模式识别
2025-06-03 v1
摘要
准确的手术阶段识别对于计算机辅助干预和手术视频分析至关重要。对长手术视频进行标注是劳动密集型的，这推动了对利用无标签数据以极少量标注实现强性能的研究。尽管自监督学习通过支持大规模预训练随后在小规模标注子集上进行微调而受到欢迎，但半监督方法在手术领域在很大程度上仍未被充分探索。在这项工作中，我们提出了一个基于视频 Transformer 的模型，并配备了一个稳健的伪标签框架。我们的方法对无标签数据引入了时间一致性正则化，并结合类别原型进行对比学习，该方法同时利用标注数据和伪标签来优化特征空间。通过在私有 RAMIE（机器人辅助微创食管切除术）数据集和公开的 Cholec80 数据集上进行的大量实验，我们证明了我们方法的有效性。通过引入无标签数据，我们在 RAMIE 上实现了 SOTA 性能，准确率提升了 4.9%，并在 Cholec80 上仅使用 1/4 的标注数据即获得了与全监督相当的结果。我们的发现为半监督手术阶段识别建立了一个强有力的基准，为该领域的未来研究铺平了道路。
引用
@article{arxiv.2506.01471,
title = {SemiVT-Surge: Semi-Supervised Video Transformer for Surgical Phase Recognition},
author = {Yiping Li and Ronald de Jong and Sahar Nasirihaghighi and Tim Jaspers and Romy van Jaarsveld and Gino Kuiper and Richard van Hillegersberg and Fons van der Sommen and Jelle Ruurda and Marcel Breeuwer and Yasmina Al Khalil},
journal= {arXiv preprint arXiv:2506.01471},
year = {2025}
}
备注
Accepted for MICCAI 2025