探索性别偏见缓解中的线性子空间假设
机器学习
2024-05-24 v4 计算与语言
计算机与社会
摘要
Bolukbasi 等人(2016)提出了最早的词表示性别偏见缓解技术之一。他们的方法以预训练词表示为输入,试图分离出一个捕获表示中大部分性别偏见的线性子空间。根据类比评估任务的判断,他们的方法几乎消除了表示中的性别偏见。然而,其方法一个隐含且未经检验的假设是偏见子空间实际上是线性的。在本工作中,我们将他们的方法推广到核化、非线性版本。我们从核主成分分析获得启发,推导出一种非线性偏见隔离技术。我们讨论并克服了该方法在词表示非线性性别偏见缓解中的一些实际缺陷,并实证分析偏见子空间是否确实为线性。我们的分析表明性别偏见事实上由线性子空间良好捕获,证实了 Bolukbasi 等人(2016)的假设。
引用
@article{arxiv.2009.09435,
title = {Exploring the Linear Subspace Hypothesis in Gender Bias Mitigation},
author = {Francisco Vargas and Ryan Cotterell},
journal= {arXiv preprint arXiv:2009.09435},
year = {2024}
}
备注
Fixed a few typos and cleaned up notation