Gaussian Harmony：在基于扩散模型的人脸生成中实现公平性
计算机视觉与模式识别
2023-12-27 v1 计算机与社会
摘要
扩散模型在人脸生成方面取得了巨大进展。然而，这些模型在生成过程中放大了偏差，导致年龄、性别和种族等敏感属性的分布失衡。本文通过平衡生成图像的面部属性，提出了一种解决该问题的新方案。我们利用高斯混合模型（GMM）在扩散模型的潜在空间中定位面部属性的均值，从而缓解偏差。我们选择 GMM 而非其他聚类框架的动机在于扩散模型具有灵活的潜在结构。由于扩散模型中的每个采样步骤都遵循高斯分布，我们表明拟合 GMM 模型有助于我们定位负责生成特定属性的子空间。此外，我们的方法不需要重新训练，而是即时定位子空间并缓解偏差，从而生成公平的数据集。我们在多个人脸属性数据集上评估了我们的方法，以展示其有效性。结果表明，在表征公平性方面，我们的方法实现了更公平的数据生成，同时保持了生成样本的质量。
引用
@article{arxiv.2312.14976,
title = {Gaussian Harmony: Attaining Fairness in Diffusion-based Face Generation Models},
author = {Basudha Pal and Arunkumar Kannan and Ram Prabhakar Kathirvel and Alice J. O'Toole and Rama Chellappa},
journal= {arXiv preprint arXiv:2312.14976},
year = {2023}
}