荷兰语词嵌入中的偏见评估
计算与语言
2020-11-05 v2
摘要
自然语言处理近期的研究表明，词嵌入可能编码训练数据中存在的社交偏见，从而在真实世界应用中影响少数群体。本文探讨荷兰语嵌入中隐含的性别偏见，同时研究基于英语的方法是否也适用于荷兰语。我们实现了词嵌入关联测试（WEAT）、聚类以及句子嵌入关联测试（SEAT）方法来量化荷兰语词嵌入中的性别偏见，随后使用Hard-Debias和Sent-Debias缓解方法降低偏见，最后评估去偏嵌入在下游任务中的性能。结果表明，除其他外，传统与上下文荷兰语词嵌入中均存在性别偏见。我们强调，通过适当翻译数据并考虑该语言的独特特征，为英语创建用于度量和降低偏见的技术可用于荷兰语嵌入。此外，我们分析了去偏技术对下游任务的影响，显示对传统嵌入影响可忽略，对上下文嵌入性能下降2%。最后，我们向公众发布了翻译后的荷兰语数据集以及缓解了偏见的传统嵌入。
关键词
引用
@article{arxiv.2011.00244,
title = {Evaluating Bias In Dutch Word Embeddings},
author = {Rodrigo Alejandro Chávez Mulsa and Gerasimos Spanakis},
journal= {arXiv preprint arXiv:2011.00244},
year = {2020}
}
备注
Accepted at GeBNLP 2020, data at https://github.com/Noixas/Official-Evaluating-Bias-In-Dutch