两害相加:预训练视觉-语言模型中的偏见复合
计算与语言
2022-05-23 v2
摘要
大量工作已分别分析了视觉和预训练语言模型中的偏见——然而,这些偏见在多模态设置中如何相互作用却较少受到关注。本工作将基于文本的偏见分析方法扩展至调查多模态语言模型,并分析这些模型学到的模态内与跨模态关联及偏见。具体而言,我们证明 VL-BERT (Su et al., 2020) 表现出性别偏见,常常倾向于强化刻板印象而非忠实描述视觉场景。我们在一个受控案例研究中展示了这些发现,并将其扩展至更大一组刻板印象化性别实体。
引用
@article{arxiv.2104.08666,
title = {Worst of Both Worlds: Biases Compound in Pre-trained Vision-and-Language Models},
author = {Tejas Srinivasan and Yonatan Bisk},
journal= {arXiv preprint arXiv:2104.08666},
year = {2022}
}
备注
Accepted to 4th Workshop on Gender Bias in Natural Language Processing, NAACL 2022