缓解文本到图像生成系统中的刻板偏见
计算机视觉与模式识别
2023-10-12 v1
摘要
最先进的生成式文本到图像模型已知会表现出社会偏见，并在其生成结果中过度代表某些群体，例如 perceived 肤色较浅者和男性。在这项工作中，我们提出了一种缓解此类偏见并确保不同人群结果公平的方法。我们通过在使用多样化文本提示构建的、在 perceived 肤色和性别上有所变化的合成数据上微调文本到图像模型来实现这一点。这些文本提示由种族、性别、职业、年龄组等元素的乘性组合构建，从而产生多样化的合成数据。我们的多样性微调（Diversity FineTuned, DFT）模型将 perceived 肤色的群体公平性指标提升了 150%，将 perceived 性别的群体公平性指标提升了 97.7%。与基线相比，DFT 模型生成了更多 perceived 深色肤色的人和更多女性。为了促进开放研究，我们将发布所有文本提示和用于生成训练图像的代码。
引用
@article{arxiv.2310.06904,
title = {Mitigating stereotypical biases in text to image generative systems},
author = {Piero Esposito and Parmida Atighehchian and Anastasis Germanidis and Deepti Ghadiyaram},
journal= {arXiv preprint arXiv:2310.06904},
year = {2023}
}
备注
4 figures, 8 pages