VisoGender：用于评测视觉-语言模型中性别偏见的图像-文本代词消解基准数据集
计算机视觉与模式识别
2023-12-13 v3 计算与语言
摘要
我们介绍了 VisoGender，一个用于评测视觉-语言模型中性别偏见的新型数据集。受 Winograd 与 Winogender 模式的启发，我们关注二元性别霸权体系内与职业相关的偏见，其中每张图像都关联一个包含场景中主体与客体代词关系的描述文本。VisoGender 在职业角色上按性别表征做了平衡，支持两种偏见评测方式：i) 消解偏见，我们评估由人类标注者感知为男性化与女性化的图像主体在代词消解准确率上的差异；ii) 检索偏见，我们比较针对性别中立的搜索查询所检索出的感知为男性化与女性化性别表征的专业人士的比例。我们对若干最先进的视觉-语言模型进行了基准测试，发现它们在复杂场景中的二元性别消解上存在偏见。尽管性别偏见的方向与程度取决于具体任务与被评测的模型，但图像描述模型通常比视觉-语言编码器偏见更弱。数据集与代码见 https://github.com/oxai/visogender。
引用
@article{arxiv.2306.12424,
title = {VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution},
author = {Siobhan Mackenzie Hall and Fernanda Gonçalves Abrantes and Hanwen Zhu and Grace Sodunke and Aleksandar Shtedritski and Hannah Rose Kirk},
journal= {arXiv preprint arXiv:2306.12424},
year = {2023}
}
备注
NeurIPS Datasets and Benchmarks 2023. Data and code available at https://github.com/oxai/visogender