上下文词表示中的偏差度量
计算与语言
2019-06-19 v1
摘要
诸如BERT之类的上下文词嵌入已在众多NLP任务中取得最先进的性能。由于它们被优化以捕获训练数据的统计特性，它们往往也会拾取并放大数据中存在的社交刻板印象。在本研究中，我们(1)提出了一种基于模板的方法来量化BERT中的偏差；(2)表明该方法在捕获社会偏见方面比传统的基于余弦的方法获得更一致的结果；以及(3)进行案例研究，在性别代词消解这一下游任务中评估性别偏差。尽管我们的案例研究聚焦于性别偏差，所提出的技术可推广至揭示其他偏差，包括多类别设定中的偏差，例如种族和宗教偏差。
引用
@article{arxiv.1906.07337,
title = {Measuring Bias in Contextualized Word Representations},
author = {Keita Kurita and Nidhi Vyas and Ayush Pareek and Alan W Black and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:1906.07337},
year = {2019}
}
备注
1st ACL Workshop on Gender Bias for Natural Language Processing 2019