通过心理刻板印象探讨LLM生成故事中的性别偏见

随着大型语言模型(LLM)在不同应用中的广泛使用，关于其在各类任务中放大性别偏见的担忧日益增加。先前的研究通常使用显式性别线索进行反事实实验，或在句子填空和简短问答任务中进行探讨。这些格式可能忽略了嵌入在生成性行为中的更隐含的偏见形式。本文使用心理学中研究的性别刻板印象（例如攻击性或八卑）在开放式叙事生成任务中探讨LLM的性别偏见。我们引入了一个新数据集称为StereoBias-Stories，包含短篇故事，未受条件或以(1、2或6)个随机属性为条件，这些属性来自25个心理学刻板印象和三个任务相关的故事结局。我们分析了性别贡献如何随这些属性的变化而影响整体故事，并提出三个关键发现：(1)尽管模型在无条件提示下总体上偏向男性，但对独立于性别刻板印象的属性进行条件化可缓解这种偏见。(2)将多个与同一性别刻板印象相关的属性组合起来会加剧模型行为，其中与男性相关的属性会放大偏见，而与女性相关的属性则缓解偏见。(3)模型偏见与用于分类的心理学真实信念一致，与程度随模型规模而增大。总体而言，这些发现凸显了基于心理学的LLM评估的重要性。