FairGen: 通过自适应潜在引导控制扩散模型中敏感属性以实现公平生成
机器学习
2025-10-23 v2 人工智能
计算机视觉与模式识别
摘要
文本到图像扩散模型常常对特定人群表现出偏见，例如在提示生成工程师图像时生成更多男性形象，这引发了伦理关切并限制了其应用。在本文中，我们针对扩散模型中向任意目标属性值（例如性别的"男性"）的生成偏差缓解问题展开研究，同时保持生成质量。我们提出 FairGen，一种自适应潜在引导机制，用于在推理过程中控制生成分布。在 FairGen 中，潜在引导模块动态调整扩散过程以强制特定属性，而记忆模块跟踪生成统计信息并引导潜在引导以使属性值的分布对齐目标公平分布。此外，我们通过引入整体偏差评估（HBE）基准来弥补现有数据集的不足，该基准覆盖多个领域并纳入复杂提示以更全面地评估偏差。在 HBE 和 Stable Bias 数据集上的大量评估表明，FairGen 优于现有的偏差缓解方法，实现了显著的偏差降低（例如在 Stable Diffusion 2 上性别偏差降低 68.5%）。消融研究凸显了 FairGen 在任意用户指定粒度下灵活控制输出分布的能力，确保自适应且有针对性的偏差缓解。
引用
@article{arxiv.2503.01872,
title = {FairGen: Controlling Sensitive Attributes for Fair Generations in Diffusion Models via Adaptive Latent Guidance},
author = {Mintong Kang and Vinayshekhar Bannihatti Kumar and Shamik Roy and Abhishek Kumar and Sopan Khosla and Balakrishnan Murali Narayanaswamy and Rashmi Gangadharaiah},
journal= {arXiv preprint arXiv:2503.01872},
year = {2025}
}
备注
EMNLP 2025 Main Conference (Camera Ready)