基础模型上的去偏噪声编辑以实现公平医学图像分类
计算机视觉与模式识别
2024-07-16 v4
摘要
在基础模型 (FMs) 于人工智能领域日益凸显的时代，我们的研究解决了医学图像中的偏差挑战，特别是在模型以黑盒方式运行时（例如使用 FM API），尤其是像素与敏感属性之间的虚假相关性。传统的偏差缓解方法因对托管在网络上的 FMs 访问受限以及难以解决编码在 FM API 中的底层偏差而面临局限性。我们提出了一种称为 DNE 的 D(ebiased) N(oise) E(diting)（去偏噪声编辑）策略，该策略生成 DNE 噪声以掩盖此类虚假相关性。DNE 能够缓解 FM API 嵌入和图像本身的偏差。此外，DNE 适用于白盒和黑盒 FM API，针对黑盒 API 中梯度不可用的情况，我们为其引入了 G(reedy) (Z)eroth-O(rder) (GeZO) 优化。我们的整个流水线实现了公平感知图像编辑，可应用于各种医疗场景，无需直接操作模型或消耗大量计算资源。实证结果表明，该方法在不同患者群体和疾病中保持公平性和效用性的有效性。在 AI 驱动医疗的时代，这项工作有助于使医疗诊断更加公平，展示了在预训练图像 FMs 中缓解偏差的实用解决方案。我们的代码提供于 https://github.com/ubc-tea/DNE-foundation-model-fairness。
引用
@article{arxiv.2403.06104,
title = {Debiased Noise Editing on Foundation Models for Fair Medical Image Classification},
author = {Ruinan Jin and Wenlong Deng and Minghui Chen and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2403.06104},
year = {2024}
}
备注
13 pages, 3 figures. Accepted by MICCAI 2024