视觉语义人工智能中低血统规则的实证

我们考察了最优的多模态“视觉语义”模型 CLIP（“对比语言-图像预训练”）是否遵循低血统规则（或称一滴血规则），即多种族人更可能被赋予对应于少数族裔或弱势种族/族群的标签，而非等同的多数族裔或优势族群标签。一项基于证明低血统规则的心理学研究的面部变形实验表明，在 1,000 组变形图像序列的中点处，CLIP 将 69.7% 的黑白混血女性图像与黑色文本标签而非白色文本标签相关联，类似地，在拉丁裔-白人女性和亚裔-白人女性变形序列的中点处分别偏好拉丁裔（75.8%）和亚裔（89.1%）文本标签，反映了低血统规则。此外，对模型底层余弦相似度的评估显示，与“白人”的关联同与“人”的关联相关，在 21,000 张图像的变形序列上 Pearson 相关系数 rho 高达 0.82，表明在 CLIP 中白人对应于人的默认表征。最后，我们表明图像与刻板印象一致的通畅性关联同 CLIP 中与黑色文本标签的关联相关，对于 21,000 张黑白混血男性图像 rho = 0.48，对于黑白混血女性图像 rho = 0.41。CLIP 是在使用从美国网站（维基百科）收集的数据所得的英文文本上训练的，我们的发现表明 CLIP 嵌入了美国种族等级制度的价值观，反映了存在于人类心智中的隐性与显性信念。我们在低血统规则的历史与心理学背景下对这些发现进行语境化。总体而言，数据表明，除非加以检验，否则使用自然语言监督的 AI 将学到反映种族等级制度的偏见。