消除文本到图像扩散模型中的偏见
计算机视觉与模式识别
2024-02-23 v1
摘要
基于学习的文本到图像(TTI)模型，如 Stable Diffusion，已在各个领域 revolutionized 了视觉内容的生成方式。然而，最近的研究表明，当前最先进的 TTI 系统中存在显著的社交偏见，这引发了重要关切。本文旨在解决 TTI 扩散模型中的社交偏见。我们首先形式化问题设置，并使用偏见群组的文本描述建立不安全方向，以引导扩散过程。随后，我们将问题简化为权重优化问题，并尝试使用强化学习求解器——策略梯度(Policy Gradient)，但表现次优，收敛速度较慢。为克服这些限制，我们提出了迭代分布对齐(IDA)方法。尽管方法简单，但我们展示了 IDA 在解决 TTI 扩散模型中的社交偏见方面表现出效率和快速收敛。我们的代码将公开发布。
引用
@article{arxiv.2402.14577,
title = {Debiasing Text-to-Image Diffusion Models},
author = {Ruifei He and Chuhui Xue and Haoru Tan and Wenqing Zhang and Yingchen Yu and Song Bai and Xiaojuan Qi},
journal= {arXiv preprint arXiv:2402.14577},
year = {2024}
}