SurgAtt-Tracker：基于时序提案重排序和运动感知细化的内镜注意力跟踪
计算机视觉与模式识别
2026-02-25 v1 人工智能
摘要
准确且稳定的field-of-view（FoV）引导是确保 minimally invasive手术安全和高效的关键，但现有方法常将视觉注意力估计与下游相机控制混合，或依赖direct object-centric假设。在本工作中，我们将手术注意力跟踪建模为时空学习问题，将手术员关注点建模为密集注意力热力图，从而实现连续且可解释的逐帧FoV引导。我们提出SurgAtt-Tracker，一个综合框架，通过提案级重排序和运动感知细化利用时序一致性来稳健跟踪手术注意力，而非进行direct regression。为支持系统化的训练和评估，我们引入SurgAtt-1.16M，一个规模庞大的基准数据集，配合临床验证的注释协议，实现跨手术程序和机构的全面热力图注意力分析。在多个手术数据集上进行的广泛实验表明，SurgAtt-Tracker始终实现了最先进的性能和强鲁棒性，在遮挡、多器械干扰和跨域情境下表现优异。除了注意力跟踪之外，我们的方法提供的逐帧FoV引导信号可直接支持下游机器人FoV规划和自动相机控制。
引用
@article{arxiv.2602.20636,
title = {SurgAtt-Tracker: Online Surgical Attention Tracking via Temporal Proposal Reranking and Motion-Aware Refinement},
author = {Rulin Zhou and Guankun Wang and An Wang and Yujie Ma and Lixin Ouyang and Bolin Cui and Junyan Li and Chaowei Zhu and Mingyang Li and Ming Chen and Xiaopin Zhong and Peng Lu and Jiankun Wang and Xianming Liu and Hongliang Ren},
journal= {arXiv preprint arXiv:2602.20636},
year = {2026}
}