超越二元性别标签：通过性别中立姓名预测揭示大语言模型中的性别偏见
计算与语言
2024-07-09 v1
摘要
基于姓名的性别预测传统上使用二元分类系统，根据姓名将个体归类为女性或男性。这种二元方法在处理与任何单一性别都不相符的性别中立姓名等情况时可能存在问题。仅依赖二元性别类别而不识别性别中立姓名会降低性别预测任务的包容性。我们引入了一个额外的性别类别，即“中性”，以研究和解决大语言模型中潜在的性别偏见。我们评估了几个基础模型和大语言模型仅根据名字预测性别的性能。此外，我们研究了添加出生年份以提高性别预测准确性的影响，以考虑姓名与性别之间随时间变化的关联。我们的研究结果表明，大多数大语言模型能够以高准确率（超过80%）识别男性和女性姓名，但在处理性别中立姓名时准确率较低（低于40%），并且对英语名字的性别预测准确率高于非英语名字。实验结果表明，加入出生年份并不能提高性别预测的整体准确性，尤其是对于性别关联随时间演变的姓名。我们建议在下游任务中应用大语言模型进行性别识别时需谨慎，尤其是在处理非二元性别标签时。
引用
@article{arxiv.2407.05271,
title = {Beyond Binary Gender Labels: Revealing Gender Biases in LLMs through Gender-Neutral Name Predictions},
author = {Zhiwen You and HaeJin Lee and Shubhanshu Mishra and Sullam Jeoung and Apratim Mishra and Jinseok Kim and Jana Diesner},
journal= {arXiv preprint arXiv:2407.05271},
year = {2024}
}
备注
Accepted at ACL 2024, GeBNLP Workshop