多语言词嵌入与跨语言迁移中的性别偏见
计算与语言
2020-05-05 v1 计算机与社会
机器学习
摘要
多语言表示将多种语言的词嵌入到单一语义空间中，使得含义相近的词无论语言如何都彼此接近。这些嵌入已被广泛用于各种场景，例如跨语言迁移，即在一个语言上训练的自然语言处理（NLP）模型被部署到另一种语言。尽管跨语言迁移技术很强大，它们会将性别偏见从源语言带到目标语言。本文研究多语言嵌入中的性别偏见及其如何影响 NLP 应用的迁移学习。我们创建了一个用于偏见分析的多语言数据集，并提出了从内在和外在两个角度量化多语言表示中偏见的几种方法。实验结果表明，当我们将嵌入对齐到不同目标空间时，多语言表示中偏见的大小变化不同，且对齐方向也会影响迁移学习中的偏见。我们进一步为下游任务使用多语言词表示提供了建议。
引用
@article{arxiv.2005.00699,
title = {Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer},
author = {Jieyu Zhao and Subhabrata Mukherjee and Saghar Hosseini and Kai-Wei Chang and Ahmed Hassan Awadallah},
journal= {arXiv preprint arXiv:2005.00699},
year = {2020}
}