度量接地视觉与语言嵌入中的社会偏见
计算与语言
2023-08-23 v2 人工智能
摘要
我们将社会偏见的概念从语言嵌入推广到接地视觉与语言嵌入。偏见存在于接地嵌入中,并且实际上似乎与未接地嵌入中的偏见同等或更为显著。尽管视觉和语言可能遭受不同的偏见,人们或许希望这能减弱两者的偏见。存在多种将度量词嵌入中偏见的指标推广到这一新设定的方式。我们引入了推广空间(Grounded-WEAT 和 Grounded-SEAT),并展示三种推广回答了关于偏见、语言和视觉如何相互作用的不同但重要的问题。这些指标用于一个新数据集,这是首个用于接地偏见的数据集,通过将标准语言偏见基准用来自 COCO、Conceptual Captions 和 Google Images 的 10,228 张图像进行增强扩展而创建。数据集构建具有挑战性,因为视觉数据集本身存在很强偏见。随着这些系统被部署,其中偏见的存在将开始产生现实世界后果,使得仔细度量偏见并进而缓解它对于构建公平社会至关重要。
引用
@article{arxiv.2002.08911,
title = {Measuring Social Biases in Grounded Vision and Language Embeddings},
author = {Candace Ross and Boris Katz and Andrei Barbu},
journal= {arXiv preprint arXiv:2002.08911},
year = {2023}
}
备注
Camera-ready from NAACL 2021. Previous arXiv version was from before conference and was not the most recent version