基于 CLIP 的基础模型在 X 射线图像分类中的公平性分析
计算机视觉与模式识别
2025-02-03 v1 人工智能
摘要
X 射线成像在医学诊断中至关重要，能够无创地洞察多种健康状况。近年来，诸如对比语言-图像预训练（Contrastive Language-Image Pretraining, CLIP）模型之类的视觉-语言模型已展现出通过利用大规模图像-文本数据集来提升诊断准确性的潜力。然而，由于 CLIP 并非专为医学图像设计，业界已开发出若干专门针对医学图像训练的类 CLIP 模型。尽管这些模型的性能有所提升，但公平性问题——尤其是涉及人口统计学属性的公平性——在很大程度上仍未得到解决。本研究对应用于 X 射线图像分类的类 CLIP 模型进行了全面的公平性分析。我们使用零样本推理以及多种微调技术（包括线性探测（Linear Probing）、多层感知机（Multilayer Perceptron, MLP）、低秩适应（Low-Rank Adaptation, LoRA）以及全量微调），评估了它们在不同患者人口统计学特征与疾病类别下的性能与公平性。结果表明，尽管微调提升了模型准确率，但公平性方面的隐患依然存在，凸显了在这些基础模型中进一步引入公平性干预措施的必要性。
引用
@article{arxiv.2501.19086,
title = {Fairness Analysis of CLIP-Based Foundation Models for X-Ray Image Classification},
author = {Xiangyu Sun and Xiaoguang Zou and Yuanquan Wu and Guotai Wang and Shaoting Zhang},
journal= {arXiv preprint arXiv:2501.19086},
year = {2025}
}
备注
This paper has been accepted for presentation at the 2025 IEEE International Symposium on Biomedical Imaging (ISBI 2025)