文本到图像生成中的偏差放大悖论
机器学习
2023-11-16 v2 计算与语言
计算机视觉与模式识别
计算机与社会
摘要
偏差放大是指模型加剧训练数据中存在的偏差或刻板印象的现象。在本文中，我们利用 Stable Diffusion，通过比较训练图像与生成图像中的性别比例，研究文本到图像领域的偏差放大。我们发现，该模型似乎显著放大了训练数据（LAION）中存在的性别-职业偏差。然而，我们发现放大现象很大程度上可归因于训练标题与模型提示之间的差异。例如，一个固有差异是训练数据的标题常包含明确的性别信息，而我们的提示则没有，这导致分布偏移并进而虚高了偏差度量。一旦我们在评估放大时考虑了训练与生成所用文本之间的分布差异，便观察到放大程度急剧下降。我们的发现阐明了比较模型与其训练数据中偏差的挑战，并凸显了影响分析工作的混杂因素。
引用
@article{arxiv.2308.00755,
title = {The Bias Amplification Paradox in Text-to-Image Generation},
author = {Preethi Seshadri and Sameer Singh and Yanai Elazar},
journal= {arXiv preprint arXiv:2308.00755},
year = {2023}
}