ConTrack：用于 X 射线中器械追踪的上下文 Transformer
计算机视觉与模式识别
2023-07-18 v1
摘要
器械追踪是血管内手术引导的重要前提。尤其在心脏介入中，在 2D 透视图像中检测和追踪导引导管尖端对于诸如将血管从血管造影（高剂量含造影剂）映射到透视（低剂量无造影剂）等应用十分重要。导管尖端的追踪面临不同挑战：尖端可能在血管造影或介入器械中被造影剂遮挡；并且由于心脏和呼吸运动，它始终处于连续运动中。为克服这些挑战，我们提出 ConTrack，一种基于 transformer 的网络，利用空间和时间上下文信息在 X 射线透视和血管造影中实现准确的器械检测与追踪。空间信息来自模板帧和分割模块：模板帧定义器械的周边环境，而分割模块检测整个器械以为尖端预测提供更多上下文。使用多个模板使模型在器械被造影剂遮挡导致外观变化时更具鲁棒性。在当前帧与上一帧的分割导管掩码上计算的光流信息，通过补偿呼吸和心脏运动来帮助进一步细化预测。实验表明，与最先进的追踪模型相比，我们的方法在检测和追踪上实现了 45% 或更高的准确率。
引用
@article{arxiv.2307.07541,
title = {ConTrack: Contextual Transformer for Device Tracking in X-ray},
author = {Marc Demoustier and Yue Zhang and Venkatesh Narasimha Murthy and Florin C. Ghesu and Dorin Comaniciu},
journal= {arXiv preprint arXiv:2307.07541},
year = {2023}
}
备注
Accepted at MICCAI 2023