缓解上下文词嵌入中的性别偏见
计算与语言
2024-11-20 v1 机器学习
摘要
词嵌入在处理绝大多数 NLP 相关任务中已展现出卓越的效果。遗憾的是，词嵌入也捕获了社会中普遍存在的刻板偏见，从而影响了其在下游任务中使用时的预测性能。尽管已有多种针对静态嵌入的技术被提出并受到批评，但很少有工作关注于缓解上下文嵌入中的偏见。在本文中，我们为 MLM（掩码语言建模）提出了一种新的目标函数，该函数在很大程度上缓解了上下文嵌入中的性别偏见，同时保持了下游任务的性能。由于以往关于衡量上下文嵌入中偏见的工作缺乏规范性推理，我们还提出了直观且与我们的去偏见动机相一致的新评估指标。我们还提出了静态嵌入去偏见的新方法，并通过广泛的分析和实验提供了经验证明，说明静态嵌入中偏见的主要来源是刻板印象姓名的存在，而非性别词汇本身。除非另有说明，所有研究的实验和嵌入均为英文。
引用
@article{arxiv.2411.12074,
title = {Mitigating Gender Bias in Contextual Word Embeddings},
author = {Navya Yarrabelly and Vinay Damodaran and Feng-Guang Su},
journal= {arXiv preprint arXiv:2411.12074},
year = {2024}
}