评估性别中立预训练视觉-语言模型中的偏见与公平性
计算机视觉与模式识别
2023-10-27 v1 计算与语言
机器学习
摘要
已知预训练的机器学习模型会延续甚至放大数据中已有的偏见，从而导致不公平的结果，最终影响用户体验。因此，理解这些偏见背后的机制至关重要，以确保模型性能不会造成对某些群体或人口的歧视行为。在本工作中，我们定义性别偏见作为案例研究。我们量化了三个视觉-语言模型族在预训练期间及微调后的偏见放大。我们探究这两个学习阶段之间（若存在）的联系，并评估偏见放大如何反映在模型性能上。总体而言，我们发现预训练期间与微调后的偏见放大是相互独立的。我们随后考察在性别中立数据上继续预训练的效果，发现这在不显著损害任务性能的情况下，减少了 VQAv2 与检索任务上的群体差异，即促进了公平性。
引用
@article{arxiv.2310.17530,
title = {Evaluating Bias and Fairness in Gender-Neutral Pretrained Vision-and-Language Models},
author = {Laura Cabello and Emanuele Bugliarello and Stephanie Brandl and Desmond Elliott},
journal= {arXiv preprint arXiv:2310.17530},
year = {2023}
}
备注
To appear in EMNLP 2024