去偏信息检索模型中的性别偏见
计算与语言
2022-09-21 v3 信息检索
摘要
文化、性别、种族等方面的偏见已存在数十年，并影响了人类社交互动的诸多领域。这些偏见已被证明会影响机器学习（ML）模型，而对于自然语言处理（NLP）而言，这可能对下游任务产生严重后果。缓解信息检索（IR）中的性别偏见对于避免传播刻板印象十分重要。在这项工作中，我们采用了一个由两部分组成的数据集：（1）文档与查询的相关性，以及（2）文档的“性别”，其中代词被替换为男性、女性和中性变位形式。我们明确表明，当对大型预训练 BERT 编码器进行完整微调时，IR 的预训练模型在零样本检索任务中表现不佳，而使用适配器网络进行的轻量级微调相比基线将零样本检索性能提升了近 20%。我们还说明预训练模型存在性别偏见，导致检索到的文章往往更多为男性而非女性。我们通过引入一种去偏技术克服了这一问题，该技术当模型偏好男性甚于女性时对其进行惩罚，从而得到一个跨性别均衡检索文章的有效模型。
引用
@article{arxiv.2208.01755,
title = {Debiasing Gender Bias in Information Retrieval Models},
author = {Dhanasekar Sundararaman and Vivek Subramanian},
journal= {arXiv preprint arXiv:2208.01755},
year = {2022}
}
备注
Updated title to be reflective of the methods