刻板与偏斜：预训练与微调语言模型中性别偏见的量化
计算与语言
2021-02-17 v2 人工智能
机器学习
神经与进化计算
摘要
本文提出两个直观的度量指标——偏斜（skew）与刻板（stereotype），用于量化并分析上下文语言模型在处理 WinoBias 代词消解任务时存在的性别偏见。我们发现证据表明，在开箱即用模型中性别刻板与性别偏斜近似呈负相关，表明这两种偏见形式之间存在权衡。我们研究了两种缓解偏见的方法。第一种是在线方法，能有效去除偏斜但以加剧刻板为代价。第二种受先前 ELMo 工作启发，涉及使用增广的性别平衡数据集对 BERT 进行微调。我们表明，相较于未增广的微调对应模型，这降低了偏斜与刻板。然而，我们发现现有的性别偏见基准并不能充分探查职业偏见，因为代词消解可能被其他性别偏见表现的交叉关联所混淆。我们的代码已在线发布于 https://github.com/12kleingordon34/NLP_masters_project。
引用
@article{arxiv.2101.09688,
title = {Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models},
author = {Daniel de Vassimon Manela and David Errington and Thomas Fisher and Boris van Breugel and Pasquale Minervini},
journal= {arXiv preprint arXiv:2101.09688},
year = {2021}
}
备注
Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021)