通过性别与种族刻板印象评估大语言模型

语言模型开启了人工智能的新时代，在自然语言处理（NLP）社区以及普通大众中均获得了广泛关注。人工智能在预测、生成方面的能力及其在敏感决策场景中的应用，使得研究这些模型可能存在的、且可能被放大的偏见变得尤为重要。我们开展了一项高质量的对比研究，并在专业环境下基于两类偏见（性别与种族）的前提建立了一个评估语言模型的框架。我们发现，与旧模型相比，新模型中的性别偏见已大幅减少，但种族偏见仍然存在。