性别包容性公平指数（GIFI）：用于评估大语言模型中性别多样性的多层次框架
计算与语言
2025-06-19 v1
摘要
我们提出了对大语言模型（LLM）中性别公平性的全面评估，重点关注其处理二进制性别和非二进制性别的能力。尽管先前的研究主要聚焦于二进制性别区分，但我们引入了性别包容性公平指数（GIFI），这是一种新型且全面的指标，用于量化LLM的性别包容性。GIFI包含在不同层次上广泛的评估，从简单地通过提供的性别代词来探测模型，到在不同性别假设下测试模型生成和认知行为的 various aspects，从而揭示与不同性别标识相关的偏见。我们对22个具有代表性的开源和专有LLM进行了广泛的GIFI评估，发现LLM的性别包容性存在显著差异。我们的研究强调了提高LLM包容性的重要性，为未来在生成模型中实现性别公平性的进一步进步提供了关键基准。
引用
@article{arxiv.2506.15568,
title = {Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models},
author = {Zhengyang Shan and Emily Ruth Diana and Jiawei Zhou},
journal= {arXiv preprint arXiv:2506.15568},
year = {2025}
}
备注
Accepted by ACL 2025 Main