揭示人脸生成模型中的偏差
计算机视觉与模式识别
2023-02-23 v1 机器学习
摘要
近期，GAN与扩散模型的进展使得高分辨率、超逼真图像的生成成为可能。然而，这些模型可能会错误表征某些社会群体并呈现偏差。理解这些模型中的偏差仍是一个重要的研究问题，尤其是对于支持关键决策并可能影响少数群体的任务。本工作的贡献是一种新颖的分析，涵盖架构与嵌入空间，以对三种方法（生成器、属性修改器与后处理偏差缓解器）的偏差进行细粒度理解。本工作表明，生成器在所有社会群体上均存在偏差，具有诸如白人属性偏好在75%–85%之间、女性性别偏好在60%–80%之间（对于所有训练的CelebA模型）以及生成儿童和老年男性的低概率等属性偏好。修改器与缓解器作为后处理器工作并改变生成器性能。例如，属性通道扰动策略修改嵌入空间。我们通过测量对图像质量与群体特征的影响来量化此变化对群体公平性的影响。具体而言，我们使用Fréchet Inception Distance (FID)、Face Matching Error与Self-Similarity score。对于Interfacegan，我们分析单属性与双属性通道扰动，并考察其对公平性分布与图像质量的影响。最后，我们分析了后处理偏差缓解器，其是缓解偏差最快且计算效率最高的方式。我们发现这些缓解技术在KL散度与FID分数上呈现相似结果，然而自相似度分数显示数据分布新群体上不同的特征集中。本工作所描述的弱点与持续挑战，在追求创建公平且无偏差的人脸生成模型时必须加以考虑。
引用
@article{arxiv.2302.11562,
title = {Uncovering Bias in Face Generation Models},
author = {Cristian Muñoz and Sara Zannone and Umar Mohammed and Adriano Koshiyama},
journal= {arXiv preprint arXiv:2302.11562},
year = {2023}
}