CrowS-Pairs:用于测量掩码语言模型中社会偏见的挑战数据集
计算与语言
2020-10-02 v1 人工智能
摘要
预训练语言模型,尤其是掩码语言模型(MLM),已在许多自然语言处理任务中取得成功。然而,有大量证据表明它们利用了训练语料中无疑存在的文化偏见,从而通过有偏表示隐性地造成危害。为衡量语言模型中对美国受保护人口群体的某些社会偏见,我们引入了众包刻板印象对基准(CrowS-Pairs)。CrowS-Pairs 包含 1508 个示例,涵盖九类偏见(如种族、宗教和年龄)相关的刻板印象。在 CrowS-Pairs 中,模型会看到两个句子:一个更具刻板印象,另一个较不具刻板印象。该数据聚焦于对历史上弱势群体的刻板印象,并将其与优势群体进行对比。我们发现所评估的三种广泛使用的 MLM 都在 CrowS-Pairs 的每个类别中大幅偏好表达刻板印象的句子。随着构建更少偏见模型的研究推进,该数据集可用作评估进展的基准。
引用
@article{arxiv.2010.00133,
title = {CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models},
author = {Nikita Nangia and Clara Vania and Rasika Bhalerao and Samuel R. Bowman},
journal= {arXiv preprint arXiv:2010.00133},
year = {2020}
}
备注
EMNLP 2020