揭开掩码的面纱——评估掩码语言模型中的社会偏见
计算与语言
2021-04-16 v1
摘要
掩码语言模型（MLM）作为文本编码器在众多下游 NLP 任务中展现出优越性能。不幸的是，MLM 也表现出令人严重担忧程度的社会偏见。我们表明，先前提出的用于量化 MLM 中社会偏见的评估指标因以下原因存在问题：（1）某些 MLM 中掩码 token 本身的预测准确率往往较低，这对使用预测 token 的（伪）似然的评估指标的可靠性提出质疑；（2）未考虑掩码预测准确率与下游 NLP 任务表现之间的相关性；（3）训练数据中的高频词被更频繁地掩码，因测试例中这一选择偏差引入噪声。为克服上述不畅，我们提出全解掩码似然（AUL），一种在给定未掩码输入的 MLM 嵌入下预测测试例中全部 token 的偏见评估度量。我们发现 AUL 能准确检测 MLM 中不同类型偏见。我们还提出带注意力权重的 AUL（AULA），以基于 token 在句中的重要性进行评估。然而，与 AUL 和 AULA 不同，先前提出的 MLM 偏见评估度量系统性高估所测偏见，并深受上下文中未掩码 token 的影响。
引用
@article{arxiv.2104.07496,
title = {Unmasking the Mask -- Evaluating Social Biases in Masked Language Models},
author = {Masahiro Kaneko and Danushka Bollegala},
journal= {arXiv preprint arXiv:2104.07496},
year = {2021}
}