FairGen：通过自发现潜在方向增强文本到图像扩散模型的公平性
计算机视觉与模式识别
2025-10-24 v3
摘要
尽管扩散模型（DM）在各种图像生成任务中表现卓越，但它们仍反映了训练数据集中固有的偏见。随着DM在实际应用中广泛采用，这些偏见可能延续扭曲的世界观，并阻碍少数群体的机会。现有去偏方法通常需要使用人工制定的参考数据集进行模型重新训练或引入额外分类器，存在两个主要局限性：(1)收集参考数据集成本高昂；(2)去偏性能严重受限于参考数据集或额外分类器的质量。为此，我们提出FairGen，一种即插即用方法，通过自发现方式学习属性潜在方向，从而消除对此类参考数据集的依赖。具体而言，FairGen由两部分组成：一组属性适配器和一个分布指示器。每组属性适配器旨在学习属性潜在方向，并通过自发现过程中的噪声组成进行优化。随后，对分布指示器与属性适配器集合进行乘法运算，以引导生成过程朝向所需分布。我们的方法能够同时实现对多个属性的去偏，同时保持轻量级且易于与其他DM集成，无需重新训练。大量实验表明，在消除性别、种族及其交叉偏见方面，我们的方法以显著优势超越了以前的SOTA方法。
引用
@article{arxiv.2412.18810,
title = {FairGen: Enhancing Fairness in Text-to-Image Diffusion Models via Self-Discovering Latent Directions},
author = {Yilei Jiang and Weihong Li and Yiyuan Zhang and Minghong Cai and Xiangyu Yue},
journal= {arXiv preprint arXiv:2412.18810},
year = {2025}
}