面向更公平 NLP 的扰动增强
计算与语言
2022-10-14 v2 人工智能
摘要
不受欢迎且常有害的社会偏见在 NLP 研究中愈发凸显，影响着模型与数据集。在本文中，我们探究在人口统计扰动的文本上训练是否能带来更公平的语言模型。我们收集了一个大规模人工标注文本扰动数据集，并训练了一个神经扰动模型，其表现优于启发式替代方案。我们发现：(i) 在人口统计扰动语料上预训练的语言模型（LM）通常更公平；(ii) 在扰动的 GLUE 数据集上微调的 LM 在下游任务中表现出更少的人口统计偏见；(iii) 公平性提升不以牺牲下游任务性能为代价。最后，我们讨论关于如何最佳评估大语言模型（LLM）(不)公平性的悬而未决问题。我们希望这一对神经人口统计扰动的探索能助力推动更公平的 NLP 取得更多进展。
引用
@article{arxiv.2205.12586,
title = {Perturbation Augmentation for Fairer NLP},
author = {Rebecca Qian and Candace Ross and Jude Fernandes and Eric Smith and Douwe Kiela and Adina Williams},
journal= {arXiv preprint arXiv:2205.12586},
year = {2022}
}