文化反事实：通过反事实示例评估大型视觉-语言模型中的文化偏见
计算机视觉与模式识别
2026-03-04 v1
摘要
大型视觉-语言模型 (LVLMs) 最近发展迅速，但也可能表现出有害偏见。先前研究调查此类偏见主要关注与图像中人物外观特征相关的人口统计特征，如种族或性别。这留下了与文化差异（如宗教、社会经济地位）相关的偏见相对不够研究，因为这些差异无法仅从个人外观中轻易辨识。衡量文化偏见的关键挑战在于，确定某人所属的哪个群体往往取决于图像中的文化背景线索，而缺乏带有文化背景线索的数据集。为解决这一问题，我们引入 Cultural Counterfactuals：一个高质量的合成数据集，包含近 60k 个反事实图像，用于衡量与宗教、国籍和社会经济地位相关的文化偏见。为确保准确呈现文化背景，我们使用图像编辑模型将来自不同人口统计特征的人放入真实的文化背景图像中。这使得能够构建反事实图像集，描绘同一人在多个不同背景下的情景，从而精确测量文化背景差异对 LVLM 输出的影响。我们演示了 Cultural Counterfactuals 在量化流行 LVLMs 中的文化偏见方面的实用性。
引用
@article{arxiv.2603.02370,
title = {Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples},
author = {Phillip Howard and Xin Su and Kathleen C. Fraser},
journal= {arXiv preprint arXiv:2603.02370},
year = {2026}
}