FairCLIP：基于属性原型学习与表示中和的社会偏置消除
计算机视觉与模式识别
2024-05-31 v2
摘要
像 CLIP 这样的视觉-语言预训练（VLP）模型近年来获得了广泛关注。然而，许多研究发现，隐藏在 CLIP 中的社会偏置很容易在下游任务中显现，尤其是在图像检索中，这可能对人类社会产生有害影响。在这项工作中，我们提出 FairCLIP，以在不损害检索性能的情况下消除基于 CLIP 的图像检索中的社会偏置，实现去偏效果与检索性能之间的兼容。FairCLIP 分为两步：属性原型学习（APL）和表示中和（RN）。在第一步中，我们提取 CLIP 中去偏所需的概念。我们使用带有可学习词向量前缀的查询作为提取结构。在第二步中，我们首先将属性分为目标属性和偏置属性。通过分析，我们发现这两种属性都对偏置有影响。因此，我们尝试通过使用重表示矩阵（RRM）来实现表示的中和，从而消除偏置。我们将去偏效果和检索性能与其他方法进行了比较，实验表明 FairCLIP 能够实现最佳兼容性。尽管 FairCLIP 用于消除图像检索中的偏置，但它实现了对所有 CLIP 下游任务通用的表示中和。这意味着 FairCLIP 可以作为一种通用的去偏方法，应用于与 CLIP 相关的其他公平性问题。
引用
@article{arxiv.2210.14562,
title = {FairCLIP: Social Bias Elimination based on Attribute Prototype Learning and Representation Neutralization},
author = {Junyang Wang and Yi Zhang and Jitao Sang},
journal= {arXiv preprint arXiv:2210.14562},
year = {2024}
}