用于评估视觉-语言模型中社会偏见的统一框架与数据集
计算机视觉与模式识别
2024-06-18 v2 计算与语言
计算机与社会
摘要
视觉-语言模型在工业界和学术界均得到了广泛采用。在本研究中，我们提出了一个统一框架，用于系统地评估 VLMs 中与职业相关的性别、种族和年龄偏见。我们的评估涵盖了近期 VLMs 支持的所有推理模式，包括图像到文本、文本到文本、文本到图像和图像到图像。此外，我们提出了一条自动化流水线，用于生成高质量的合成数据集，该数据集在不同职业领域的生成文本和图像中故意隐藏了性别、种族和年龄信息。该数据集包含对每种职业的基于动作的描述，并作为评估视觉-语言模型中社会偏见的基准。在对广泛使用的 VLMs 进行的比较分析中，我们发现不同的输入-输出模态会导致在偏见程度和方向上产生明显差异。此外，我们发现 VLM 模型在我们所调查的不同偏见属性上表现出截然不同的偏见。我们希望我们的工作能有助于指导未来在改进 VLMs 以学习无社会偏见表示方面的进展。我们将发布我们的数据和代码。
引用
@article{arxiv.2402.13636,
title = {A Unified Framework and Dataset for Assessing Societal Bias in Vision-Language Models},
author = {Ashutosh Sathe and Prachi Jain and Sunayana Sitaram},
journal= {arXiv preprint arXiv:2402.13636},
year = {2024}
}