文本到图像生成模型对伦理自然语言干预的理解程度如何？
计算与语言
2022-10-28 v1 人工智能
机器学习
多媒体
摘要
文本到图像生成模型在基于自然语言描述生成高质量图像方面取得了前所未有的成功。然而，研究表明，当使用中性文本描述（例如，“一张律师的照片”）作为提示时，这些模型倾向于偏爱特定的社会群体。继 Zhao 等人 (2021) 的工作之后，我们研究了在输入提示中添加支持公平判断的伦理干预（例如，“如果所有个体无论其性别都可以成为律师”）对生成图像多样性的影响。为此，我们引入了一个名为“文本到图像生成中的伦理自然语言干预”（ENTIGEN）的基准数据集，以评估在性别、肤色和文化三个社会轴向上，以伦理干预为条件的图像生成变化。通过 ENTIGEN 框架，我们发现 minDALL.E、DALL.E-mini 和 Stable Diffusion 的生成结果涵盖了多样化的社会群体，同时保持了图像质量。初步研究表明，在伦理干预中，某些短语（例如在性别偏见语境下的“无论其性别”）会触发模型预测的巨大变化。我们在 https://github.com/Hritikbansal/entigen_emnlp 发布了代码和标注数据。
引用
@article{arxiv.2210.15230,
title = {How well can Text-to-Image Generative Models understand Ethical Natural Language Interventions?},
author = {Hritik Bansal and Da Yin and Masoud Monajatipoor and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2210.15230},
year = {2022}
}
备注
13 pages, 8 figures, 6 tables. Accepted as Oral Presentation at EMNLP 2022