三维医学图像自监督预训练中的几何视觉相似性学习

由于三维医学图像共享大量相同语义区域，学习图像间相似性对其自监督预训练至关重要。然而，度量中语义先验的缺失以及三维医学图像中与语义无关的变化，使得获取可靠的图像间相似性度量具有挑战性，阻碍了为相同语义学习一致表示。我们研究该任务的挑战性问题，即学习图像间的一致表示以实现相同语义特征的聚类效应。我们提出一种新颖的视觉相似性学习范式——几何视觉相似性学习(Geometric Visual Similarity Learning)，其将拓扑不变性先验嵌入图像间相似性度量中，以用于语义区域的一致表示。为驱动该范式，我们进一步构建一种新颖的几何匹配头——Z-matching head，协作学习语义区域的全局与局部相似性，引导不同尺度级图像间语义特征的高效表示学习。我们的实验表明，采用我们所提图像间相似性学习的预训练，在四个具有挑战性的三维医学图像任务上产生了更强大的场景内、场景间以及全局-局部迁移能力。我们的代码与预训练模型将公开于 https://github.com/YutingHe-list/GVSL。