编码器基视觉语言模型中的偏见传播：从内在度量到零样本检索结果的系统性分析

为了构建公平的人工智能系统，我们需要理解社会群体偏见如何在基础编码器基视觉语言模型（VLM）中内在，进而在下游任务中体现为偏见。本研究表明，VLM 表示中的内在偏见系统性地“传递”到零样本检索任务中，揭示了偏见如何深刻影响模型输出。我们引入了一个受控框架，通过衡量 (a) 表示空间中内在偏见度量与 (b) 零样本文本到图像（TTI）和图像到文本（ITT）检索中的外在偏见度量之间的相关性来评估这种传递。结果显示，内在偏见与外在偏见之间存在显著相关性，平均 $\rho$ = 0.83 $\pm$ 0.10。这种模式在 114 项分析中保持一致，涵盖两种检索方向、六个社会群体和三个不同的 VLM。值得注意的是，我们发现更大/更高性能的模型表现出更大的偏见传播，这一发现引发了人们对日益复杂的人工智能模型的担忧。我们的框架引入了衡量群体信号和情感信号传递的基准评估任务。调查结果表明， underrepresented 群体经历的传递不够稳健，进一步扭曲了其模型相关结果。