一种针对 GloVe 词嵌入的源批判去偏方法
计算与语言
2021-06-28 v1 机器学习
摘要
已有充分文献表明，在大型公开语料上训练的词嵌入持续表现出已知的人类社会偏见。尽管存在许多去偏方法，但几乎都专注于从词嵌入中完全消除偏见信息，且在此过程中往往缩减了训练集规模。在本文中，我们提出一种简单而有效的 GloVe 词嵌入（Pennington 等，2014）去偏方法，其通过引入关于训练集偏见的显式信息而非直接移除偏见数据来工作。我们的方法借助 Brunet 等（2019）的快速偏见梯度近似方法得以快速高效运行。由于我们的方法类似于人文学科中“源批判”的概念，我们称之为源批判 GloVe（SC-GloVe）。我们展示了 SC-GloVe 在词嵌入关联测试（WEAT）集上减小了效应量，且不牺牲训练数据或 TOP-1 性能。
引用
@article{arxiv.2106.13382,
title = {A Source-Criticism Debiasing Method for GloVe Embeddings},
author = {Hope McGovern},
journal= {arXiv preprint arXiv:2106.13382},
year = {2021}
}