Adversarial Fair Contrastive Language-Image Pre-training for Chest X-rays
计算机视觉与模式识别
2025-11-04 v3 机器学习
摘要
对比式语言-图像预训练（CLIP）模型在 various visual tasks 中展现出优异性能，包括医学图像分类。然而，公平性 concerns，包括人口统计偏见，为 CLIP 模型所关注的不足。这一疏忽可能导致与种族和性别相关的关键问题，结果在诊断结果和对 underrepresented groups 的可靠性方面存在差异。为此，我们提出了 AdFair-CLIP，一种 novel 框架，采用对抗性特征干预来抑制敏感属性，从而缓解虚假关联并提高预测公平性。我们在胸部 X 光（CXR）数据集上进行了全面实验，表明 AdFair-CLIP 在提高公平性和诊断准确性方面显著有效，同时在 zero-shot 和 few-shot 场景中保持稳健的泛化能力。这些结果为 CLIP 基于医学诊断模型中的公平性感知学习树立了新的基准，尤其是针对 CXR 分析。
引用
@article{arxiv.2506.23467,
title = {AdFair-CLIP: Adversarial Fair Contrastive Language-Image Pre-training for Chest X-rays},
author = {Chenlang Yi and Zizhan Xiong and Qi Qi and Xiyuan Wei and Girish Bathla and Ching-Long Lin and Bobak Jack Mortazavi and Tianbao Yang},
journal= {arXiv preprint arXiv:2506.23467},
year = {2025}
}
备注
This preprint has been accepted by MICCAI 2025