机器人辅助手术中的全景跟踪
计算机视觉与模式识别
2025-03-24 v2
摘要
在视频中准确跟踪组织和工具对于机器人辅助 minimally 侵入手术（RAMIS）至关重要，因为它使机器人能够精确定位和理解手术场景中组织与工具的精确位置和相互作用。传统的基于关键点的稀疏跟踪受限于特征点，而基于流的稠密双视图匹配会受到长期漂移。最近提出的 Tracking Any Point（TAP）算法旨在克服这些限制，实现稠密且准确的长期跟踪。然而，由于缺乏针对手术场景的综合性手术跟踪数据集进行评估，TAP 方法在手术情境下的有效性尚未得到验证。为此，我们引入了一个新的标注手术跟踪数据集，用于基准测试手术场景中的跟踪方法，包含具有复杂组织和器械运动的真实世界手术视频。我们广泛评估了最新的 TAP 基于算法，并揭示了其在面临挑战的手术情境下的局限性，包括快速器械运动、严重遮挡和运动模糊等。此外，我们提出了一种新的跟踪方法，称为 SurgMotion，以解决这些挑战并进一步提高跟踪性能。我们的方法在手术器械跟踪方面优于大多数 TAP 基于算法，尤其在具有挑战性的医疗视频中显示出显著的改进。我们的代码和数据集已在 https://github.com/zhanbh1019/SurgicalMotion 上提供。
引用
@article{arxiv.2409.19821,
title = {Tracking Everything in Robotic-Assisted Surgery},
author = {Bohan Zhan and Wang Zhao and Yi Fang and Bo Du and Francisco Vasconcelos and Danail Stoyanov and Daniel S. Elson and Baoru Huang},
journal= {arXiv preprint arXiv:2409.19821},
year = {2025}
}
备注
7 pages