基于CLIP模型的胸部X光片公平性与鲁棒性研究
计算机视觉与模式识别
2025-07-30 v1
摘要
受CLIP模型在自然图像-文本领域强大性能的驱动，近期研究将这些架构适用于医学任务，尤其是在影像学领域，其中大量的图像-报告配对数据集，如胸部X光片，可用。尽管这些模型在准确性和判别性能方面显示出鼓舞人心的结果，但它们在不同临床任务中的公平性和鲁棒性仍大体未被探索。在本研究中，我们在胸部X光分类中广泛评估了六个广泛使用的CLIP-based 模型，数据集包括MIMIC-CXR、NIH-CXR14和NEATX。我们根据年龄、性别和种族基于六个条件和患者子组评估模型的公平性。此外，我们评估了针对有无胸部引流器的肺胵散器案例的shortcut 学习鲁棒性。我们的結果显示，不同年龄患者之间存在性能差异，但其他属性的结果更为公平。此外，所有模型在无胸部引流器的图像上的表现较差，表明它们依赖于不恰当的相关性。我们进一步通过对模型生成的嵌入进行分析。虽然敏感属性可从嵌入中被分类，但我们未看到使用PCA时的此类模式，表明这些可视化技术在评估模型时存在局限性。我们的コード可在 https://github.com/TheoSourget/clip_cxr_fairness 查找。
引用
@article{arxiv.2507.21291,
title = {Fairness and Robustness of CLIP-Based Models for Chest X-rays},
author = {Théo Sourget and David Restrepo and Céline Hudelot and Enzo Ferrante and Stergios Christodoulidis and Maria Vakalopoulou},
journal= {arXiv preprint arXiv:2507.21291},
year = {2025}
}
备注
Accepted for publication at the FAIMI MICCAI workshop 2025