视觉识别模型微调前后的性别偏差变化
计算机视觉与模式识别
2023-03-15 v1
摘要
我们提出一个框架，用于衡量大规模视觉识别模型在针对下游任务微调前后偏差的变化。已知在日益增长的数据上训练的深度学习模型会编码社会偏见。当今许多计算机视觉系统依赖于通常在大规模数据集上预训练的模型。尽管已开发出用于下游任务调优模型的偏差缓解技术，但目前尚不清楚预训练模型中已编码的偏差会产生何种影响。我们的框架引入代表单个概念及概念对的一组规范图像，以凸显一系列现成预训练模型在模型规模、数据集规模和训练目标下的偏差变化。通过分析，我们发现：（1）在ImageNet-21k等数据集上训练的有监督模型比自监督模型更可能保留其预训练偏差，而与目标数据集无关。我们还发现（2）在更大规模数据集上微调的模型更可能引入新的偏差关联。我们的结果还表明（3）偏差可迁移至微调模型，且微调目标与数据集会影响迁移偏差的程度。
引用
@article{arxiv.2303.07615,
title = {Variation of Gender Biases in Visual Recognition Models Before and After Finetuning},
author = {Jaspreet Ranjit and Tianlu Wang and Baishakhi Ray and Vicente Ordonez},
journal= {arXiv preprint arXiv:2303.07615},
year = {2023}
}
备注
10 pages, 3 Figures