FairPIVARA：降低和评估 CLIP 多模态模型中的偏见
计算机视觉与模式识别
2024-10-08 v2 人工智能
摘要
尽管视觉语言模型取得了显著进展并被广泛应用，但针对其伦理影响的研究仍寡言少所。这些模型通常需要大量训练数据，常来自粗糙审核的文本和图像数据集，导致数据集不平衡和伦理问题。此外，最初在英语中训练的模型常被微调至其他语言，如 CLIP 模型，可通过增加数据来提升能力，但也可能引入新的偏见。基于 CLIP 且适用于葡萄牙语的模型 CAPIVARA 在零样本任务中表现优异。本文评估了视觉语言模型中四种不同类型的歧视性做法，并提出 FairPIVARA 方法通过去除特征嵌入中最受影响的维度来降低这些偏见。FairPIVARA 的应用导致观察到的偏见显著减少，最多可降低 98%，同时促进模型中更均衡的词汇分布。我们的模型和代码已公开：https://github.com/hiaac-nlp/FairPIVARA。
引用
@article{arxiv.2409.19474,
title = {FairPIVARA: Reducing and Assessing Biases in CLIP-Based Multimodal Models},
author = {Diego A. B. Moreira and Alef Iury Ferreira and Jhessica Silva and Gabriel Oliveira dos Santos and Luiz Pereira and João Medrado Gondim and Gustavo Bonil and Helena Maia and Nádia da Silva and Simone Tiemi Hashiguti and Jefersson A. dos Santos and Helio Pedrini and Sandra Avila},
journal= {arXiv preprint arXiv:2409.19474},
year = {2024}
}
备注
14 pages, 10 figures. Accepted to 35th British Machine Vision Conference (BMVC 2024), Workshop on Privacy, Fairness, Accountability and Transparency in Computer Vision