因果语言模型中的交叉性偏见
计算与语言
2021-07-19 v1 机器学习
摘要
为检验语言生成中是否能观察到交叉性偏见,我们考察了\emph{GPT-2}与\emph{GPT-NEO}模型,其规模从1.24亿到约27亿参数不等。我们开展了一项实验,将多达三个社会类别——性别、宗教与残疾——组合进无条件或零样本提示中,用于生成句子,随后对句子进行情感分析。我们的结果证实了早先使用自回归因果模型(包括\emph{GPT}系列模型)进行的测试。我们还阐释了为何针对单一类别(例如性别、宗教与种族)的技术可能难以消除偏见,因为偏见也可能以往往微妙的方式,出现在由拼接社会类别所提示的文本中。为应对这些困难,我们建议技术手段与基于社区的方法需相结合,以承认并解决复杂且交叉的语言模型偏见。
引用
@article{arxiv.2107.07691,
title = {Intersectional Bias in Causal Language Models},
author = {Liam Magee and Lida Ghahremanlou and Karen Soldatic and Shanthi Robertson},
journal= {arXiv preprint arXiv:2107.07691},
year = {2021}
}
备注
18 pages, 4 figures