面向医学图像疾病分类的视觉语言模型中的交叉公平性
计算机视觉与模式识别
2025-12-25 v2 人工智能
摘要
医学人工智能（AI）系统，特别是多模态视觉语言模型（VLM），常常表现出交叉偏差，即在诊断边缘化患者亚群时，模型系统性地不够自信。这种偏差可能导致误诊和漏诊率更高，因为数据在人口统计学上偏斜且诊断确定性分布不同。当前的公平性干预措施常常未能解决这些差距，或为实现亚群间的统计平等而牺牲整体诊断性能。在本研究中，我们开发了 Cross-Modal Alignment Consistency (CMAC-MMD)，一种标准化诊断确定性跨交叉患者亚群的训练框架。不同于传统去偏方法，本方法无需在临床推断时使用敏感人口统计学数据，即可平等地衡量模型的决策置信度。我们使用 10,015 张皮肤病变图像（HAM10000）进行评估，在 12,000 张外部验证图像（BCN20000）和 10,000 张糖尿病视网膜图像（Harvard-FairVLMed）上进行外部分析，按交叉年龄、性别和种族属性进行性能分层。在皮肤科队列中，本方法将整体交叉漏诊差距（True Positive Rate 差值，TPR）从 0.50 降至 0.26，同时将整体 Area Under the Curve（AUC）从 0.94 提升至 0.97。对于白内障筛查，本方法将 TPR 从 0.41 降至 0.31，实现更好的 AUC 为 0.72（相对于 0.71 的基线）。这为开发面向高风险临床决策支持系统的框架奠定了基础，这些系统在保持准确性的同时，能够在 diverse 患者亚群之间实现公平性能，同时无需增加隐私风险即可实现可靠的性能。
引用
@article{arxiv.2512.15249,
title = {Intersectional Fairness in Vision-Language Models for Medical Image Disease Classification},
author = {Yupeng Zhang and Adam G. Dunn and Usman Naseem and Jinman Kim},
journal= {arXiv preprint arXiv:2512.15249},
year = {2025}
}