缓解 BERT 中依赖于语言的族群偏见
计算与语言
2021-09-15 v2 人工智能
摘要
BERT 及其他大规模语言模型（LM）包含性别与种族偏见。它们也表现出其他维度的社会偏见，其中大多数尚未被深入研究，且某些偏见随语言不同而变化。在本文中，我们通过分析并缓解英语、德语、西班牙语、韩语、土耳其语和汉语单语 BERT 中的族群偏见，研究族群偏见及其跨语言的差异。为观察并量化族群偏见，我们提出了一种称为类别偏见分数（Categorical Bias score）的新指标。随后我们提出两种缓解方法：第一种使用多语言模型，第二种使用两个单语模型的上下文词对齐。我们将所提方法与单语 BERT 进行比较，表明这些方法能有效减轻族群偏见。两种方法中哪种更好取决于该语言可用的 NLP 资源量。我们额外用阿拉伯语和希腊语进行实验，以验证所提方法适用于更广泛的语言。
引用
@article{arxiv.2109.05704,
title = {Mitigating Language-Dependent Ethnic Bias in BERT},
author = {Jaimeen Ahn and Alice Oh},
journal= {arXiv preprint arXiv:2109.05704},
year = {2021}
}
备注
17 pages including references and appendix. To appear in EMNLP 2021 (camera-ready ver.)