论词嵌入偏见推断的度量与缓解
计算与语言
2019-11-27 v3 机器学习
摘要
词嵌入从其训练文本中携带刻板印象内涵，这可能导致依赖它们的下游模型产生无效推断。我们利用这一观察设计了一种借助自然语言推理任务来度量刻板印象的机制。我们展示了通过对静态词嵌入（GloVe）施加偏见缓解策略可减少无效推断。此外，我们表明对于性别偏见，这些技术若仅选择性地应用于上下文嵌入（ELMo、BERT）的静态成分，便可推广至上下文嵌入。
引用
@article{arxiv.1908.09369,
title = {On Measuring and Mitigating Biased Inferences of Word Embeddings},
author = {Sunipa Dev and Tao Li and Jeff Phillips and Vivek Srikumar},
journal= {arXiv preprint arXiv:1908.09369},
year = {2019}
}