基于反事实对比学习的鲁棒图像表示

对比预训练可以显著提高模型的泛化能力和下游性能。然而，学习到的表示的质量高度依赖于用于生成正样本对的数据增强策略。正对比样本对应在保留语义信息的同时，丢弃与数据采集领域相关的不必要变化。传统的对比流程试图通过预定义的通用图像变换来模拟领域偏移。然而，这些变换并不总能模拟医学成像中真实且相关的领域变化，例如扫描仪差异。为了解决这个问题，我们在此引入反事实对比学习，这是一种利用因果图像合成最新进展来创建对比正样本对的新框架，这些样本对能够忠实地捕捉相关的领域变化。我们的方法在涵盖胸部 X 光和乳腺 X 光数据的五个数据集上进行了评估，对于两种成熟的对比目标 (SimCLR 和 DINO-v2)，在针对采集偏移的鲁棒性方面优于标准对比学习。值得注意的是，反事实对比学习在分布内和外部数据集上均取得了更优的下游性能，特别是对于使用训练集中代表性不足的扫描仪采集的图像。进一步的实验表明，所提出的框架超越了采集偏移的范畴，使用反事实对比学习训练的模型减少了不同生物学性别亚组之间的差异。