GPT 生成英文文本中性别偏见的规范性评级："五十度偏见"

语言是展现社会信仰体系的强力工具。在此过程中，它也延续了我们社会中普遍存在的偏见。性别偏见是社会中最普遍的偏见之一，见于线上与线下话语。随着 LLM 在文本生成中日益获得类人流畅度，细致理解这些系统可能生成的偏见势在必行。已有工作常将性别偏见视为二分类任务。然而，鉴于偏见须以相对尺度被感知，我们探究偏见不同程度的生成及人工标注者随后的接受度。具体而言，我们创建了首个带性别偏见规范性评级的 GPT 生成英文文本数据集。评级通过 Best--Worst Scaling（一种高效的比较标注框架）获得。接着，我们系统分析观测排序中性别偏见主题的变化，表明身份攻击与性别偏见最密切相关。最后，我们展示了在相关概念上训练的现有自动化模型在我们数据集上的表现。