Endo-TTAP：基于多面引导注意力和混合流点监督的稳健内镜组织跟踪
计算机视觉与模式识别
2025-03-31 v1 人工智能
摘要
内镜视频中准确的组织点跟踪对于机器人辅助手术导航和场景理解至为重要，但由于复杂变形、器械遮挡以及稀缺的密集轨迹标注，仍面临挑战。现有方法由于特征利用有限和标注依赖，难以应对这些条件下的长期跟踪。我们提出 Endo-TTAP，一种新型框架通过：（1）多面引导注意力（MFGA）模块，综合多尺度流动动力学、DINOv2 语义嵌入和显式运动模式，以联合预测点位置、不确定性和遮挡感知；（2）两阶段课程学习策略，采用辅助课程适配器（ACA）进行渐进初始化和混合监督。阶段 I 使用带有光流真实值的合成数据进行不确定性-遮挡正则化，而阶段 II 结合无监督流一致性和半监督学习，利用来自成熟跟踪器的精炼伪标签。广泛的在两个 MICCAI 挑战数据集和我们收集的数据集上的验证表明，Endo-TTAP 在组织点跟踪中实现了最先进的性能，尤其在复杂内镜条件下表现突出。源代码和数据集将发布于 https://anonymous.4open.science/r/Endo-TTAP-36E5。
引用
@article{arxiv.2503.22394,
title = {Endo-TTAP: Robust Endoscopic Tissue Tracking via Multi-Facet Guided Attention and Hybrid Flow-point Supervision},
author = {Rulin Zhou and Wenlong He and An Wang and Qiqi Yao and Haijun Hu and Jiankun Wang and Xi Zhang an Hongliang Ren},
journal= {arXiv preprint arXiv:2503.22394},
year = {2025}
}