人造语言模型？评估LLMs对男性通指偏见的延续
计算与语言
2025-02-18 v1 人工智能
摘要
已有研究表明，大型语言模型（LLMs）在英语及其他语言的特定或受限语境中会传播甚至放大性别偏见。然而，目前尚无研究关注LLMs对通用指令的回复中所传达的性别偏见，尤其是关于男性通指（MG）的偏见。MG是许多性别标记语言中的一种语言特征，指使用男性性别作为“默认”或假定的中性性别，来指代男女混合群体或性别无关或未知的人。大量心理语言学研究表明，MG并非中性，且会引发性别偏见。本研究旨在分析专有和本地LLMs在回复通用指令时对MG的使用情况，并评估其MG偏见率。我们以法语为研究对象，利用现有词汇资源构建了人类名词数据库。我们筛选了现有的法语指令数据集以检索通用指令，并分析了6个不同LLMs的回复。总体而言，我们发现LLMs对通用指令的回复中约有39.5%存在MG偏见（在包含人类名词的回复中约占73.1%）。我们的发现还表明，LLMs不愿自发使用性别公平语言。
引用
@article{arxiv.2502.10577,
title = {Man Made Language Models? Evaluating LLMs' Perpetuation of Masculine Generics Bias},
author = {Enzo Doyen and Amalia Todirascu},
journal= {arXiv preprint arXiv:2502.10577},
year = {2025}
}
备注
21 pages, 5 figures