审计文本到图像生成模型内部偏置动态的生成偏置
计算机视觉与模式识别
2024-10-11 v1 计算机与社会
摘要
文本到图像(TTI)扩散模型如DALL-E和Stable Diffusion能够从文本提示生成图像。然而，这些模型已被证实会延续性别刻度。这些模型在多个阶段内部处理数据，并采用多个单独训练的组成模型。在本文中，我们提出了两种新颖的度量标准来测量这些多阶段多模态模型中的内部偏置。扩散偏置被开发用于检测和衡量由扩散阶段引入的偏置。偏置放大度量了文本到图像转换过程中偏置的放大。我们的实验揭示，TTI模型会放大性别偏置，扩散过程本身会贡献偏置，而Stable Diffusion v2比DALL-E 2更易受性别偏见影响。
引用
@article{arxiv.2410.07884,
title = {Generated Bias: Auditing Internal Bias Dynamics of Text-To-Image Generative Models},
author = {Abhishek Mandal and Susan Leavy and Suzanne Little},
journal= {arXiv preprint arXiv:2410.07884},
year = {2024}
}