通用方法构成优秀的领域特定基础模型：基于胎儿超声的案例研究

在获得大规模无标签医学数据后，研究人员面临两个问题：应不应尝试在此医学数据上预训练自定义基础模型，或使用来自现有通用模型的迁移学习？如果预训练自定义模型，是否需要新方法？本文通过进行案例研究来探索这些问题，我们在包含 200 万张胎儿超声图像的大型区域数据集上训练了基础模型。通过选择已建立的 DINOv2 方法进行预训练，我们在覆盖来自不同国家、涵盖分类、分割和零样本任务的三个胎儿超声数据集上实现了最好的结果。我们将结果与在自然图像、超声图像上预训练的模型以及监督基线进行比较。我们的结果显示出两个关键见解：(i) 即使在较小模型上使用较少数据进行预训练也值得，即自然图像预训练中的规模效应并不直接转化为超声性能。(ii) 来自计算机视觉的经过良好调优的方法，使得在给定医学领域内训练自定义基础模型变得可行，无需超参数调优和很少的方法论调整。鉴于这些发现，我们认为，在常规计算资源约束下开发领域特定基础模型时，应避免对方法论创新偏向。