去偏性别词嵌入在语言建模中的影响
计算与语言
2021-05-06 v3
摘要
性别、种族和社会偏见近来已被发现为自然语言处理应用中不公平性的明显例证。实现公平的一条关键路径是理解、分析和解释我们的数据与算法。近期研究表明，训练所用的人工生成数据是产生偏见的显著因素。此外，当前算法亦被证明会放大数据中的偏见。为进一步应对这些关切，本文中我们研究了一个最先进的循环神经网络语言模型在以下情形中的表现：使用预训练的标准与去偏词嵌入，在低估女性的数据上训练。结果表明，与使用任务内训练的嵌入相比，使用预训练嵌入在不平衡数据上训练时，语言模型继承了更高的偏见。此外，结果表明，在相同数据上，使用去偏预训练嵌入的语言模型比使用标准预训练嵌入继承了更低的偏见。
引用
@article{arxiv.2105.00908,
title = {Impact of Gender Debiased Word Embeddings in Language Modeling},
author = {Christine Basta and Marta R. Costa-jussà},
journal= {arXiv preprint arXiv:2105.00908},
year = {2021}
}
备注
9 pages, 2 figures, 6 tables, accepted in 20th International Conference on Intelligent Text Processing and Computational Linguistics, CICLing 2019. To be published in Springer LNCS volume