面向自然语言生成中性别-资历复合偏差的理解
计算与语言
2022-05-23 v1
摘要
女性常被视为比男性同行资历更浅，即便在相同的职位头衔下也是如此。尽管在自然语言处理（NLP）中评估性别偏差已取得显著进展，现有研究很少探讨当偏差与 other 社会偏差复合时，针对性别群体的偏差如何变化。在本工作中，我们引入一种用于探查复合偏差的新框架，研究资历如何影响预训练神经生成模型所表现出的性别偏差程度。我们贡献了一个涵盖两个领域（美国参议员与教授）的基准鲁棒性测试数据集，该数据集采用远程监督方法创建。我们的数据集包含具有潜在真实标签的人工撰写文本以及配对的_counterfactuals（反事实样本）。随后我们考察了 GPT-2 的困惑度以及生成文本中性别化语言的频率。我们的结果表明，GPT-2 在这两个领域都比真实情况更常将女性视为资浅、男性视为资深，从而放大了偏差。这些结果表明，使用 GPT-2 构建的 NLP 应用可能会对职业女性造成伤害。
引用
@article{arxiv.2205.09830,
title = {Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation},
author = {Samhita Honnavalli and Aesha Parekh and Lily Ou and Sophie Groenwold and Sharon Levy and Vicente Ordonez and William Yang Wang},
journal= {arXiv preprint arXiv:2205.09830},
year = {2022}
}
备注
6 pages, LREC 2022