OSCaR：词嵌入中偏置的正交子空间校正与修正
计算与语言
2021-09-14 v2 人工智能
机器学习
摘要
语言表示已知带有刻板偏置，并因此在下游任务中导致有偏预测。尽管现有方法通过线性投影能有效缓解偏置，但此类方法过于激进：它们不仅去除偏置，还抹除了词嵌入中的有价值信息。我们开发了评估特定信息保留的新度量，揭示了偏置去除与信息保留之间的权衡。为应对该挑战，我们提出OSCaR（Orthogonal Subspace Correction and Rectification），一种偏置缓解方法，侧重于解耦概念间的有偏关联，而非整体移除概念。我们在性别偏置上的实验表明，OSCaR是一种均衡的方法，能确保语义信息保留于嵌入中且偏置也得到有效缓解。
引用
@article{arxiv.2007.00049,
title = {OSCaR: Orthogonal Subspace Correction and Rectification of Biases in Word Embeddings},
author = {Sunipa Dev and Tao Li and Jeff M Phillips and Vivek Srikumar},
journal= {arXiv preprint arXiv:2007.00049},
year = {2021}
}