基于网络抓取多模态数据预训练的对比语言-视觉 AI 模型表现出性物化偏见

我们评估了九个使用对比语言-图像预训练（Contrastive Language-Image Pretraining, CLIP）目标在网络抓取数据上训练的语言-视觉 AI 模型，以寻找心理学家所研究的偏见证据：女孩和妇女的性物化，即当一个人的情感等人性特征被忽视，且该人被当作身体对待时发生的情况。我们重复了心理学中量化性物化的三个实验，并表明该现象在 AI 中持续存在。第一个实验使用了来自性物化与情感数据库的女性标准化图像，发现人性特征与被物化女性的图像相脱离：模型对情绪状态的识别受主体是否全裸或部分着装的调节。嵌入关联测试对愤怒（d >0.80）和悲伤（d >0.50）均返回显著效应量，将全着装主体的图像与情感相关联。GRAD-CAM 显著性图突显了 CLIP 在物化图像中会从情绪表达上分心。第二个实验在代表性应用中测量了该效应：自动图像字幕生成器比全着装女性的图像，在部分着装女性的图像中包含表示情感的词汇的频率降低了不到 50%。第三个实验发现，相对于男性专业人士的图像，女性专业人士（科学家、医生、高管）的图像更可能与性描述相关联。第四个实验表明，“一个[年龄]岁的女孩”的提示词在 VQGAN-CLIP 和 Stable Diffusion 中高达 73% 的时间生成色情图像（由 NSFW 分类器判定）；而男孩的相应比率从未超过 9%。证据表明，在网络抓取数据上训练的语言-视觉 AI 模型学习到了性物化偏见，并将其传播到下游应用中。