面向介入式图像分析的自监督学习：迈向鲁棒的器械跟踪器
计算机视觉与模式识别
2024-05-03 v1 人工智能
摘要
在实时X射线图像采集中准确检测和跟踪诸如导引导管等器械，是血管内心脏介入手术的必要前提。这些信息被用于手术引导，例如指导支架放置。为确保手术的安全性和有效性，需要高度的鲁棒性——在跟踪过程中不发生失败。为了实现这一点，需要有效应对诸多挑战，例如：器械被造影剂或其他外部器械或导丝遮挡、视野或采集角度的变化，以及由心脏和呼吸运动引起的持续运动。为了克服上述挑战，我们提出了一种新方法，利用针对图像序列数据的自监督学习，从超过1600万帧介入式X-ray图像的庞大数据队列中学习时空特征。我们的方法基于掩蔽图像建模技术，利用基于帧插值的重建来学习精细的帧间时间对应关系。所得模型中编码的特征被用于下游微调。我们的方法达到了SOTA性能，并且与超优化的参考解决方案（使用多阶段特征融合、多任务和流正则化）相比具有更高的鲁棒性。实验表明，与参考解决方案相比，我们的方法将最大跟踪误差降低了66.31%（使用流正则化时降低23.20%）；在3倍更快的推理速度42帧每秒（在GPU上）下，实现了97.95%的成功率。结果鼓励将我们的方法应用于介入式图像分析中需要有效理解时空语义的各种其他任务。
引用
@article{arxiv.2405.01156,
title = {Self-Supervised Learning for Interventional Image Analytics: Towards Robust Device Trackers},
author = {Saahil Islam and Venkatesh N. Murthy and Dominik Neumann and Badhan Kumar Das and Puneet Sharma and Andreas Maier and Dorin Comaniciu and Florin C. Ghesu},
journal= {arXiv preprint arXiv:2405.01156},
year = {2024}
}