女性曾从事保姆工作：论语言生成中的偏见
计算与语言
2019-10-25 v2 人工智能
摘要
我们通过对从包含不同人口群体提及的提示生成的文本进行分析，对自然语言生成（NLG）中的偏见进行了系统研究。在这项工作中，我们引入了对某一人口群体“regard（观感）”的概念，将针对不同人口群体 varying levels of regard 用作 NLG 中偏见的定义性度量，并分析情感得分在多大程度上是 regard 的相关代理度量。为此，我们从语言模型中收集策略性生成的文本，并人工标注文本的情感和 regard 分数。此外，我们通过迁移学习构建了一个自动 regard 分类器，以便分析未见文本中的偏见。这些方法共同揭示了语言模型生成文本的偏见本质程度。我们的分析提供了对 NLG 中偏见、偏见度量及相关人类判断的研究，以及关于我们标注数据集有用性的经验证据。
引用
@article{arxiv.1909.01326,
title = {The Woman Worked as a Babysitter: On Biases in Language Generation},
author = {Emily Sheng and Kai-Wei Chang and Premkumar Natarajan and Nanyun Peng},
journal= {arXiv preprint arXiv:1909.01326},
year = {2019}
}
备注
EMNLP 2019 short paper (5 pages); Updated references and examples, changed figure 2 & 3 order, fixed grammar, results unmodified