微调文本到图像扩散模型以实现公平性

文本到图像扩散模型在社会的快速应用凸显了解决其偏见的迫切需求。若不加以干预，这些偏见将传播扭曲的世界观并限制少数群体的机会。本工作中，我们将公平性构建为分布对齐问题。我们的方案包含两项主要技术贡献：（1）一种分布对齐损失，将生成图像的特定特征导向用户定义的目标分布；（2）对扩散模型采样过程的调整式直接微调（adjusted DFT），其利用调整梯度直接优化定义于生成图像上的损失。实证上，我们的方法显著降低了职业提示词下的性别、种族及其交叉偏见。即便仅微调五个软令牌，性别偏见也大幅降低。关键在于，我们的方法支持超越绝对平等的多元公平性视角，这通过将年龄控制为 $75\%$ 年轻与 $25\%$ 年老分布同时去偏性别与种族得以证明。最后，我们的方法可扩展：只需在微调数据中纳入这些提示词便可一次性去偏多个概念。我们在 https://sail-sg.github.io/finetune-fair-diffusion/ 分享代码与多种公平扩散模型适配器。