易获取的文本到图像生成大规模放大人口刻板印象
计算与语言
2023-06-08 v2 计算机视觉与模式识别
摘要
将用户撰写的文本描述转换为图像的机器学习模型现已广泛在线可用，并被数百万用户使用，每天生成数百万张图像。我们调查了这些模型放大危险且复杂刻板印象的潜力。我们发现广泛的普通提示词会产生刻板印象，包括仅提及特质、描述符、职业或物体的提示词。例如，我们发现提示基本特质或社会角色导致强化白人至上为理想的形象，提示职业导致种族与性别差距的放大，提示物体导致美国规范的物化。无论提示词明确提及身份与人口语言还是避免此类语言，刻板印象都存在。此外，尽管有缓解策略，刻板印象依然持续；用户试图通过请求具有特定反刻板印象的图像来对抗刻板印象，以及机构试图添加系统“护栏”的尝试，都未能阻止刻板印象的延续。我们的分析证明了人们对当今模型影响的担忧是合理的，给出了引人注目的例证，并将这些发现与社会科学和人文科学中有关危害的深刻见解相联系。本工作有助于揭示语言-视觉模型中独特复杂偏见的努力，并展示了文本到图像生成模型的大规模部署如何导致刻板印象的大规模传播及由此产生的危害。
引用
@article{arxiv.2211.03759,
title = {Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale},
author = {Federico Bianchi and Pratyusha Kalluri and Esin Durmus and Faisal Ladhak and Myra Cheng and Debora Nozza and Tatsunori Hashimoto and Dan Jurafsky and James Zou and Aylin Caliskan},
journal= {arXiv preprint arXiv:2211.03759},
year = {2023}
}
备注
FAccT 2023 paper. The published version is available at 10.1145/3593013.3594095