错误更少，但刻板印象更多？模型规模对性别偏见的影响
计算与语言
2022-06-22 v1
摘要
预训练模型的规模在不断增大，其在多种自然语言处理（NLP）任务上的性能也在提升。然而，随着其记忆能力的增长，它们可能习得更多的社会偏见。在本工作中，我们考察了模型规模与其性别偏见（具体而言，职业性别偏见）之间的联系。我们在两种设置下测量了三个掩码语言模型族（RoBERTa、DeBERTa 和 T5）的偏见：直接使用基于提示的方法，以及使用下游任务（Winogender）。我们发现，一方面，较大的模型在前一任务上获得更高的偏见分数，但在后一任务上评估时，它们犯下的性别错误更少。为考察这些可能冲突的结果，我们仔细研究了不同模型在 Winogender 上的行为。我们发现，虽然较大的模型优于较小的模型，但它们错误由性别偏见导致的概率更高。此外，我们发现刻板印象错误相对于反刻板印象错误的比例随模型规模增大而增长。我们的发现凸显了模型规模增大可能带来的潜在风险。
引用
@article{arxiv.2206.09860,
title = {Fewer Errors, but More Stereotypes? The Effect of Model Size on Gender Bias},
author = {Yarden Tal and Inbal Magar and Roy Schwartz},
journal= {arXiv preprint arXiv:2206.09860},
year = {2022}
}