中文

PIPsUS:超声中的自监督点跟踪

计算机视觉与模式识别 2024-08-01 v2

摘要

寻找点级对应关系是超声(US)中的一个基本问题,因为它能够实现包括头颈部在内的不同手术中用于术中图像引导的超声地标跟踪。大多数现有的超声跟踪方法,例如基于光流或特征匹配的方法,最初是为 RGB 图像设计的,随后才应用于超声。因此,域偏移可能会影响其性能。虽然可以通过真实对应关系进行监督训练,但在超声中获取这些数据成本高昂。为了解决这些问题,我们提出了一种名为 PIPsUS 的自监督像素级跟踪模型。我们的模型可以在一次前向传播中跟踪任意数量的点,并通过考虑多个而非仅仅是连续的帧来利用时间信息。我们开发了一种新的自监督训练策略,利用为 RGB 图像训练的长期点跟踪模型作为教师,指导模型学习真实的运动,并利用数据增强强制从超声外观进行跟踪。我们在颈部、口腔超声和超声心动图上评估了我们的方法,结果显示其点跟踪精度高于快速归一化互相关和调优后的光流。代码将在论文被接受后提供。

关键词

引用

@article{arxiv.2403.04969,
  title  = {PIPsUS: Self-Supervised Point Tracking in Ultrasound},
  author = {Wanwen Chen and Adam Schmidt and Eitan Prisman and Septimiu E Salcudean},
  journal= {arXiv preprint arXiv:2403.04969},
  year   = {2024}
}

备注

10 pages, 3 figures, submitted to MICCAI 2024