利用视觉-语言驱动的图像增强改善公平性
计算机视觉与模式识别
2023-11-06 v1 人工智能
计算机与社会
机器学习
摘要
在训练深度学习判别模型时，公平性至关重要，尤其是在人脸领域。模型倾向于将特定特征（如年龄和肤色）与无关属性（下游任务）相关联，从而产生不符合现实的偏差。众所周知，这些相关性存在于数据中，并在训练过程中传递给模型。本文提出一种缓解这些相关性以改善公平性的方法。为此，我们在预训练扩散模型（DiffAE）的语义空间中学习可解释且有意义的路径——此类路径由对比文本偶极子监督。即，我们学习编辑受保护特征（年龄和肤色）。随后将这些路径应用于增强图像，以改善给定数据集的公平性。我们在 CelebA-HQ 和 UTKFace 上以年龄和肤色作为受保护特征，针对若干下游任务测试了所提方法。作为公平性的代理指标，我们计算了相对于受保护特征的准确率差异。定量结果表明，增强图像如何帮助模型提升整体准确率、上述指标以及机会均等的差异。代码见：https://github.com/Moreno98/Vision-Language-Bias-Control。
引用
@article{arxiv.2311.01573,
title = {Improving Fairness using Vision-Language Driven Image Augmentation},
author = {Moreno D'Incà and Christos Tzelepis and Ioannis Patras and Nicu Sebe},
journal= {arXiv preprint arXiv:2311.01573},
year = {2023}
}
备注
Accepted for publication in WACV 2024