MISGENDERED：大型语言模型在理解代词上的局限
计算与语言
2023-07-10 v2
摘要
内容警告：本文包含可能具冒犯性且可能引发不适的误称性别与抹除示例。语言技术中的性别偏见已被广泛研究，但研究大多局限于性别的二元范式。同样考虑非二元性别身份至关重要，因为将其排除会对本已边缘化的群体造成进一步伤害。本文全面评估了流行语言模型正确使用英语性别中立代词（如单数 they、them）与新代词（如 ze、xe、thon，被二元代词无法代表的性别身份者使用）的能力。我们提出 MISGENDERED，一个评估大型语言模型（LLM）正确使用偏好代词能力的框架，包含（i）声明个体代词的实例及随后含缺失代词的句子，以及（ii）使用统一方法评估掩码与自回归语言模型的实验设置。在开箱即用的提示下，语言模型在正确预测新代词（平均准确率 7.7%）与性别中立代词（平均准确率 34.2%）上表现糟糕。这种无法泛化的现象源于训练数据中非二元代词的缺失与记忆性关联。提示中给出显式示例的少样本适配可提升新代词表现，但即便 20 样本也仅达 64.7%。我们在 https://tamannahossainkay.github.io/misgendered/ 发布了完整数据集、代码与演示。
引用
@article{arxiv.2306.03950,
title = {MISGENDERED: Limits of Large Language Models in Understanding Pronouns},
author = {Tamanna Hossain and Sunipa Dev and Sameer Singh},
journal= {arXiv preprint arXiv:2306.03950},
year = {2023}
}
备注
Accepted at ACL 2023 as a long paper