SANER：无需标注的社会属性中和器，用于 CLIP 去偏
计算机视觉与模式识别
2025-05-22 v4
摘要
大规模视觉-语言模型（如 CLIP）已知包含关于受保护属性（如性别、年龄）的社会偏见。本文旨在解决 CLIP 中的社会偏见问题。尽管先前研究提出通过对抗学习或测试时投影来消除社会偏见，但我们的全面研究揭示了这些工作的两个关键局限：1）当属性在输入中明确披露时属性信息的丢失，以及 2）去偏过程中使用了属性标注。为同时缓解 CLIP 中的社会偏见并克服这些局限，我们提出了一种简单而有效的去偏方法 SANER（社会属性中和器），它仅从 CLIP 文本特征中消除属性中性的描述中的属性信息。实验结果表明，SANER 不需要属性标注且保留了属性特定描述中的原始信息，展现出优于现有方法的去偏能力。
引用
@article{arxiv.2408.10202,
title = {SANER: Annotation-free Societal Attribute Neutralizer for Debiasing CLIP},
author = {Yusuke Hirota and Min-Hung Chen and Chien-Yi Wang and Yuta Nakashima and Yu-Chiang Frank Wang and Ryo Hachiuma},
journal= {arXiv preprint arXiv:2408.10202},
year = {2025}
}
备注
ICLR 2025