B型反身化作为多语言多任务性别偏见的明确测试平台
计算与语言
2020-09-29 v2 机器学习
摘要
先前NLP中性别偏见研究对英语的片面关注错失了其他语言中的机会：诸如GAP和WinoGender等英语挑战数据集突出了模型的“幻觉式”偏好，例如将性别模糊的'doctor'歧义消解为男性医生。我们表明，对于具有B型反身化的语言(如瑞典语和俄语)，我们可以构建用于检测性别偏见的多任务挑战数据集，其会导致明确错误的模型预测：在这些语言中，'the doctor removed his mask'的直接翻译在共指解读与分离解读之间并无歧义。相反，共指解读需要使用无性别代词，而有性的物主代词是反反身的。我们提出了一个多语言、多任务的挑战数据集，涵盖四种语言和四项NLP任务，并仅聚焦于这一现象。我们发现所有任务-语言组合中均存在性别偏见的证据，并将模型偏见与各国劳动力市场统计相关联。
引用
@article{arxiv.2009.11982,
title = {Type B Reflexivization as an Unambiguous Testbed for Multilingual Multi-Task Gender Bias},
author = {Ana Valeria Gonzalez and Maria Barrett and Rasmus Hvingelby and Kellie Webster and Anders Søgaard},
journal= {arXiv preprint arXiv:2009.11982},
year = {2020}
}
备注
To appear in EMNLP 2020