基于循环一致性自蒸馈的半监督外科点跟踪
计算机视觉与模式识别
2025-05-12 v1
摘要
合成数据集已为点跟踪领域的显著进展提供了大规模、稠密注释的监督。然而，在实际应用中部署这些模型仍然具有挑战，由于领域迁移和缺乏标记数据——在外科视频中尤为严重，因场景中存在复杂的组织变形、遮挡和光照变化。虽然最近的方法使用教师集合或数据增强密集型的伪标记管道来适应自然视频，但其在高迁移领域如外科手术中的有效性尚未探讨。本文提出 SurgTracker，一种针对外科视频的半监督框架，通过过滤自蒸馈来适应从合成数据中训练的点跟踪器。通过一个固定的教师（与学生体系结构和初始化相同）在线生成伪标记，并通过循环一致性约束过滤，以丢弃时间上不一致的轨迹。这种简单而有效的设计强制几何一致性，提供稳定的监督，无需维护多个教师的计算开销。在 STIR 数据集上进行的实验表明，SurgTracker 在仅使用 80 条无标签视频的情况下提高了跟踪性能，展示了其在高迁移、数据稀缺领域的适应潜力。
引用
@article{arxiv.2505.05722,
title = {You Are Your Best Teacher: Semi-Supervised Surgical Point Tracking with Cycle-Consistent Self-Distillation},
author = {Valay Bundele and Mehran Hosseinzadeh and Hendrik Lensch},
journal= {arXiv preprint arXiv:2505.05722},
year = {2025}
}
备注
Accepted at CVPR 2025 SynData4CV Workshop