上下文词嵌入中的性别偏见
计算与语言
2019-04-09 v1
摘要
本文中，我们量化、分析并缓解ELMo上下文词向量所表现的性别偏见。首先，我们开展若干内在分析，发现：（1）ELMo训练数据中男性实体显著多于女性实体；（2）训练所得的ELMo嵌入系统性编码性别信息；（3）ELMo对男女实体性别信息的编码并不均等。接着，我们展示依赖ELMo的先进共指系统继承了该偏见，并在WinoBias探测语料上表现出显著偏见。最后，我们探索两种缓解此类性别偏见的方法，并表明WinoBias上表现的偏见可被消除。
引用
@article{arxiv.1904.03310,
title = {Gender Bias in Contextualized Word Embeddings},
author = {Jieyu Zhao and Tianlu Wang and Mark Yatskar and Ryan Cotterell and Vicente Ordonez and Kai-Wei Chang},
journal= {arXiv preprint arXiv:1904.03310},
year = {2019}
}