数据决定唯一性：对比式视觉语言模型社交偏见的审计
机器学习
2026-01-26 v7
摘要
视觉语言模型（VLMs）在零样图识别任务中表现优异，但常常从训练数据中继承社交偏见。我们通过对比 CLIP 和 OpenCLIP 两种模型来系统性地分解三大设计因素——模型规模、训练数据规模和训练数据来源——这两种模型共享相同的对比目标，却在编码器宽度以及使用的图像-文本语料库上不同（4000 万 proprietary 对 vs. 4000 万/20 亿 LAION）。在平衡的人脸分析基准测试上，扩大编码器会降低 CLIP 的性别偏斜，但放大 OpenCLIP 的性别和种族偏斜；将 LAION 语料库从 4000 万扩大至 20 亿进一步增加 OpenCLIP 的偏见。对于相同模型和数据预算，替换 proprietary 数据为 LAION 可改善性别公平性，但增加种族偏见，凸显训练数据来源是偏差模式的主要驱动因素。我们还评估了三种后处理、测试时去偏方法——Bias Prompts、Prompt Array 和 SANER。去偏虽能减轻偏见，但无法消除其有害影响，其有效性取决于数据来源和模型规模：Bias Prompts 在较小模型规模下最有效地降低 CLIP 的性别偏斜，而 Prompt Array 和 SANER 在 OpenCLIP 中更可靠地降低种族偏斜；扩大 LAION 会重构哪种方法最具公平性。综上，这些发现挑战了“更大模型或数据集必然更公平”的假设，凸显训练数据来源是偏差及其缓解效果的关键决定因素。我们发布代码和评估脚本，以促进对未来 VLMs 的透明、可重复审计。
引用
@article{arxiv.2501.13223,
title = {Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models},
author = {Zahraa Al Sahili and Ioannis Patras and Matthew Purver},
journal= {arXiv preprint arXiv:2501.13223},
year = {2026}
}
备注
Published at TMLR; updated version