关于多语言环境下性别偏见的评估与缓解
计算与语言
2023-07-06 v1
摘要
尽管理解和消除语言模型中的性别偏见是自然语言处理中一个长期存在的问题，先前的研究工作主要局限于英语。在本工作中，我们调查了多语言环境下评估和缓解偏见所面临的一些挑战，这些挑战源于缺乏超越英语（尤其是非西方语境下）用于偏见评估的现有基准与资源。在本文中，我们首先通过将 DisCo 借助人工标注扩展到不同印度语言，创建了一个用于评估预训练掩码语言模型中性别偏见的基准。我们将多种去偏方法扩展到英语之外，并基于我们提出的度量在 SOTA 大规模多语言模型上评估其有效性。总体而言，我们的工作凸显了在多语言环境下研究社会偏见时产生的挑战，并提供了资源与缓解技术，以朝扩展到更多语言迈出一步。
引用
@article{arxiv.2307.01503,
title = {On Evaluating and Mitigating Gender Biases in Multilingual Settings},
author = {Aniket Vashishtha and Kabir Ahuja and Sunayana Sitaram},
journal= {arXiv preprint arXiv:2307.01503},
year = {2023}
}
备注
Accepted in ACL 2023 Findings