女王亦有力：缓解对话生成中的性别偏见
计算与语言
2020-04-17 v2
摘要
模型往往容易学习训练数据中存在的偏见，其预测直接反映了这种偏见。我们分析了对话数据中的性别偏见，并考察了这种偏见如何在随后的生成式闲聊对话模型中被实际放大。我们测量了六个现有对话数据集中的性别偏见，并聚焦于偏见最严重的一个——多玩家基于文本的奇幻冒险数据集 LIGHT，作为我们偏见缓解技术的测试平台。LIGHT 数据集在性别上高度不平衡，包含 predominantly 男性角色，这可能是因为其完全由众包工作者收集，反映了奇幻或中世纪背景中存在的常见偏见。我们考虑了三种缓解性别偏见的技术：反事实数据增强、针对性数据收集以及偏见控制训练。我们展示了我们提出的技术通过平衡生成对话话语的性别化程度来缓解 LIGHT 中的性别偏见，并且在组合使用时特别有效。我们使用各种评估方法——例如性别化词数量、对话安全性分类器以及人工研究——来量化性能，所有这些均表明我们的模型生成了性别化程度更低但同样引人入胜的闲聊回复。
引用
@article{arxiv.1911.03842,
title = {Queens are Powerful too: Mitigating Gender Bias in Dialogue Generation},
author = {Emily Dinan and Angela Fan and Adina Williams and Jack Urbanek and Douwe Kiela and Jason Weston},
journal= {arXiv preprint arXiv:1911.03842},
year = {2020}
}