基于大规模自监督预训练的结构感知世界模型用于探针引导

心脏的复杂结构导致了心脏超声成像中的重大挑战，尤其是在获取心脏超声图像时。成功的心脏超声成像需要深入理解二维平面上的结构以及三维空间中平面之间的空间关系。本文创新性地提出了一种大规模自监督预训练方法，以获取心脏结构感知的世界模型。核心创新在于构建一种需要通过预测二维平面上被遮挡的结构来进行结构推断、并基于三维空间中的姿态变换来想象另一个平面的自监督任务。为支持大规模预训练，我们收集了来自十个标准视图的超过136万例心脏超声图像，以及它们的3D空间姿态。在下游探针引导任务中，我们证明了预训练模型在测试集上持续减少了十个最常见标准视图中的引导误差，测试集包含029万例来自74例常规临床扫描的样本，表明结构感知的预训练有益于扫描。