用有偏的尺子度量公平:预训练语言模型中偏见量化的综述
计算与语言
2021-12-15 v1 计算机与社会
机器学习
摘要
人们对自然语言处理资源(如BERT)中偏置模式的日益关注,促使许多度量方法被提出以量化“偏见”与“公平”。但比较不同度量的结果以及使用这些度量进行评估的工作仍然困难,甚至几乎不可能。我们综述了关于预训练语言模型公平性度量的现有文献,并实验评估其兼容性,包括语言模型及其下游任务中的偏见。我们结合传统文献综述与相关性分析,以及实证评估来实现这一点。我们发现许多度量互不兼容,且高度依赖于(i)模板、(ii)属性与目标种子以及(iii)嵌入的选择。这些结果表明,对于上下文语言模型,公平或偏见评估仍然具有挑战性,即便不是至少也高度主观。为改进未来的比较与公平性评估,我们建议避免基于嵌入的度量,并聚焦于下游任务中的公平性评估。
引用
@article{arxiv.2112.07447,
title = {Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models},
author = {Pieter Delobelle and Ewoenam Kwaku Tokpo and Toon Calders and Bettina Berendt},
journal= {arXiv preprint arXiv:2112.07447},
year = {2021}
}
备注
15 pages, 4 figures, 3 tables