中文

ViSAGe:文本到图像生成中视觉刻板印象的全球尺度分析

计算机视觉与模式识别 2024-07-16 v3 计算与语言 计算机与社会

摘要

最近的研究表明,文本到图像(T2I)模型生成的内容可以反映现实世界中存在的社会刻板印象。然而,现有的刻板印象评估方法明显缺乏对全球身份群体及其相关刻板印象的覆盖。为了解决这一差距,我们引入了ViSAGe(全球视觉刻板印象)数据集,以评估T2I模型中已知的基于国籍的刻板印象,涵盖135个国籍。我们通过区分更可能具有视觉描绘的刻板印象关联(如“宽边帽”)与视觉上不太具体的关联(如“有吸引力”),丰富了现有的文本刻板印象资源。我们通过T2I生成的多方面评估展示了ViSAGe的实用性。首先,我们表明,与其他属性相比,ViSAGe中的刻板印象属性在相应身份群体的生成图像中出现的可能性是其三倍,并且这些描绘的冒犯性对于来自非洲、南美洲和东南亚的身份群体尤其高。其次,我们评估了身份群体视觉描绘的刻板印象拉力,这揭示了ViSAGe中所有身份群体的“默认”表征都倾向于刻板印象描绘,并且这种拉力对于来自全球南方的身份群体更为突出。内容警告:部分示例包含冒犯性刻板印象。

关键词

引用

@article{arxiv.2401.06310,
  title  = {ViSAGe: A Global-Scale Analysis of Visual Stereotypes in Text-to-Image Generation},
  author = {Akshita Jha and Vinodkumar Prabhakaran and Remi Denton and Sarah Laszlo and Shachi Dave and Rida Qadri and Chandan K. Reddy and Sunipa Dev},
  journal= {arXiv preprint arXiv:2401.06310},
  year   = {2024}
}

备注

Association for Computational Linguistics (ACL) 2024