审计文本到图像模型中的性别呈现差异

文本到图像模型能够根据文本输入生成高质量图像，近来已赋能多种内容创作工具。尽管这些模型广泛影响下游应用，其生成图像的分布仍未被充分理解，尤其在涉及不同性别的潜在刻板属性方面。本工作中，我们提出一种范式（性别呈现差异），利用细粒度自我呈现属性来研究文本到图像模型中性别的呈现差异。通过探查输入文本中的性别指示词（如“a woman”或“a man”），我们通过人工标注量化以呈现为中心的属性（如“a shirt”和“a dress”）的频率差异，并引入一个新指标：GEP。此外，我们提出一种自动估计此类差异的方法。基于我们方法的自动 GEP 指标与人工标注的相关性，在三个最先进的文本到图像模型上均一致地高于基于现有 CLIP 分数的指标。最后，我们展示了我们的指标在与职业相关的性别刻板印象情境下的泛化能力。