多语言掩码语言模型中的性别偏见

通过在大规模语料上预测掩码词进行预训练的掩码语言模型（MLMs）已成功应用于多种自然语言处理任务。遗憾的是，有报告指出 MLMs 也学到了关于性别和种族等属性的歧视性偏见。由于大多数研究聚焦于英语 MLMs，其他语言中 MLMs 的偏见很少被探究。为非英语手动标注评估数据因招募标注者的成本和难度而具有挑战性。此外，现有的偏见评估方法需要由相同上下文与属性词（如 He/She is a nurse）组成的刻板句子对。我们提出多语言偏见评估（MBE）分数，仅使用英语属性词列表和目标语言与英语之间的平行语料，无需手动标注数据，即可评估多种语言中的偏见。我们使用 MBE 评估了八种语言的 MLMs，并确认所有这几种语言的 MLMs 中都编码了与性别相关的偏见。我们手动创建了日语和俄语的性别偏见数据集以评估 MBE 的有效性。结果表明，MBE 报告的偏见分数与上述手动创建的数据集以及现有英语性别偏见数据集计算出的分数显著相关。