视觉语言模型显示出显著的性别偏见
计算机视觉与模式识别
2025-08-18 v1 人工智能
摘要
视觉语言模型（VLM）在共享表示空间中对图像和文本进行对齐，这种对齐对于检索和零样迁移任务具有实用价值。然而，这种对齐可能会以不明显于标准准确率指标的方式编码并放大社会偏 Stereotype。本研究测试了对比式视觉语言编码器在将面部图像的嵌入置于描述职业和活动的短语嵌入附近时，是否存在性别关联。我们组建了一个包含220张面部照片（按感知的二元性别划分）的数据集，以及一组分布在六个类别（情感劳动、认知劳动、家务劳动、技术劳动、职业角色和体力劳动）中的150个独特陈述的数据集。我们为每张面部照片计算单位范数图像嵌入，为每个陈述计算单位范数文本嵌入，然后定义语句级别的关联得分作为到男性集合的平均余弦相似度与到女性集合的平均余弦相似度之差，其中正值表示更强的与男性集合关联，负值表示更强的与女性集合关联。我们通过对每个性别组内的图像进行自助抽样来附加置信区间，对陈述进行单独抽样以按类别聚合，并运行一个标签交换空模型以估计若不存在性别结构时我们期望的平均绝对关联水平。结果是一条由不确定性、简单的自检以及稳健的性别偏见评估框架支持的，对比式视觉语言空间中语句级别和类别级别性别关联的映射。
引用
@article{arxiv.2508.11262,
title = {Vision-Language Models display a strong gender bias},
author = {Aiswarya Konavoor and Raj Abhijit Dandekar and Rajat Dandekar and Sreedath Panat},
journal= {arXiv preprint arXiv:2508.11262},
year = {2025}
}