UltraSeP: Sequence-aware Pre-training for Echocardiography Probe Movement Guidance

超声心动图是诊断心血管疾病的 essential 医疗技术，但其高操作复杂性导致有专业训练人员短缺。为此，本文引入一种新颖的探头运动指导算法，可应用于指导机器人系统或 novice 使用者进行探头位置调整，以获取高质量的标准平面图像。心脏超声面临两个主要挑战：(1) 心脏结构本身的复杂性，(2) 显著的个体差异。以往的工作仅学习了心脏的 population 平均结构，而非个性化的心脏结构，导致性能瓶颈。临床上，我们观察到超声检查师会根据患者心脏解剖结构的先前扫描序列动态调整其解释，从而细化扫描策略。针对这一现象，我们提出一种新颖的 sequence-aware 自监督预训练方法。具体而言，我们的方法通过预测扫描序列中被遮盖的图像特征和探头运动动作来学习个性化的三维心脏结构特征。我们假设，如果模型能够预测丢失的内容，则表明其已获得对个性化心脏结构的良好理解。在包含 1.67 百万样本的大型专家扫描数据集上进行的广泛实验表明，我们提出的 sequence-aware 范式在其他先进基线方法之上有效降低了探头指导误差。