反事实对比学习：基于因果图像合成的鲁棒表征
计算机视觉与模式识别
2025-06-17 v3 人工智能
摘要
对比预训练因其提升下游任务性能和模型泛化能力而广为人知，尤其在标签有限的场景中。然而，它对数据增强管线的选择较为敏感。正负配对应保留语义信息同时消除领域特定信息。标准的数据增强管线通过预定义的光谱变换来模拟领域特定的变化，但如果我们能够模拟真实的领域变化呢？本文展示了如何利用近期在反事实图像生成方面的进展。我们提出了 CF-SimCLR，这是一种基于近似反事实推断进行正负配对创建的反事实对比学习方法。通过对五个数据集的全面评估，在胸片和乳房图像上，实验表明 CF-SimCLR 在获取偏移下显著提升了鲁棒性，在both in-和 out-of-distribution 数据上均实现更高的下游性能，尤其是在训练过程中 underrepresented 的领域中效果更为突出。
引用
@article{arxiv.2403.09605,
title = {Counterfactual contrastive learning: robust representations via causal image synthesis},
author = {Melanie Roschewitz and Fabio De Sousa Ribeiro and Tian Xia and Galvin Khara and Ben Glocker},
journal= {arXiv preprint arXiv:2403.09605},
year = {2025}
}
备注
Extended version available at https://doi.org/10.1016/j.media.2025.103668. This version was published in the proceedings of the MICCAI 2024 Data Engineering in Medical Imaging workshop. Code available at https://github.com/biomedia-mira/counterfactual-contrastive