无受保护属性监督下VLMs用于糖尿病视网膜病变检测中的偏差缓解
计算机视觉与模式识别
2025-08-13 v1
摘要
视觉语言模型（VLMs）在图像文本检索和零样本分类等多模态任务中取得了显著成功，但即使在训练时缺乏显式的受保护属性，VLMs也可能表现出人口统计偏差。在本工作中，我们聚焦于从视网膜底图自动化糖尿病视网膜病变筛查，该应用至关重要，因为糖尿病视网膜病变是导致不可逆失明的主要原因，且对弱势人群影响不均。基于重加权对比学习框架，我们引入一种无属性无偏差方法：i）通过对图像-图像嵌入进行无监督聚类推断代理子组；ii）计算CLIP式多模态损失与SimCLR式图像对比损失之间的梯度相似性权重；iii）将这些权重应用于联合的top-k加权目标中，以提升表现不佳的子组。该无标签方法能够自适应地针对最难的样本， thereby减少子组差异。我们在哈佛FairVLMed糖尿病视网膜病变子集上进行评估，报告Equalized Odds Distance（EOD）、Equalized Subgroup AUC（ES AUC）和Groupwise AUC，以展示在推断出的人口统计子组间的公平性能。
引用
@article{arxiv.2508.09087,
title = {Addressing Bias in VLMs for Glaucoma Detection Without Protected Attribute Supervision},
author = {Ahsan Habib Akash and Greg Murray and Annahita Amireskandari and Joel Palko and Carol Laxson and Binod Bhattarai and Prashnna Gyawali},
journal= {arXiv preprint arXiv:2508.09087},
year = {2025}
}
备注
3rd Workshop in Data Engineering in Medical Imaging (DEMI), MICCAI-2025 Workshop