A-MFST：用于遮挡下实时组织跟踪的自适应多流稀疏跟踪器
计算机视觉与模式识别
2024-10-29 v1 机器人学
摘要
目的：组织跟踪对于机器人辅助手术中的下游任务至关重要。稀疏高效神经深度与形变（SENDD）模型此前已证明能够实现精确的实时稀疏点跟踪，但在处理遮挡方面存在困难。本工作扩展了 SENDD，以在保持实时性能的同时增强遮挡检测和跟踪一致性。方法：我们使用 Segment Anything Model2（SAM2）检测并掩盖手术工具造成的遮挡，并开发了一个带有前后向一致性度量的自适应多流稀疏跟踪器（A-MFST）集成到 SENDD 中，以增强遮挡和不确定性估计。A-MFST 是多流密集跟踪器（MFT）的无监督变体。结果：我们在 STIR 数据集上评估了我们的方法，并证明了在遮挡条件下跟踪精度有显著提升，平均端点误差（MEE）的平均跟踪误差降低了 12%，并且在 4、8、16、32 和 64 像素阈值上的平均准确率提高了 6%。前后向一致性的引入进一步改进了最优跟踪路径的选择，减少了漂移并增强了鲁棒性。值得注意的是，这些改进是在不损害模型实时能力的情况下实现的。结论：使用 A-MFST 和 SAM2，我们增强了 SENDD 在器械与组织遮挡下实时跟踪组织的能力。
引用
@article{arxiv.2410.19996,
title = {A-MFST: Adaptive Multi-Flow Sparse Tracker for Real-Time Tissue Tracking Under Occlusion},
author = {Yuxin Chen and Zijian Wu and Adam Schmidt and Septimiu E. Salcudean},
journal= {arXiv preprint arXiv:2410.19996},
year = {2024}
}
备注
12 pages, 6 figures. Submitted to IPCAI2025