大语言模型的群体公平性视角
计算与语言
2025-12-04 v2
摘要
评估大语言模型(LLM)的偏见和公平性至关重要，而当前的评估往往范围狭窄，缺乏广泛的分类视角。在本文中，我们提出使用一种新颖的层次化模式来描述多样化的社会群体，从群体公平性视角评估LLM的偏见和公平性。具体而言，我们构建了一个数据集GFAIR，封装了跨多个维度的目标-属性组合。此外，我们引入了语句组织这一新的开放式文本生成任务，以揭示LLM中复杂的偏见。对流行LLM的广泛评估揭示了固有的安全隐患。为了从群体公平性角度缓解LLM的偏见，我们首创了一种新的思维链方法GF-THINK。实验结果表明其在缓解偏见和实现LLM公平性方面的有效性。我们的数据集和代码可在https://github.com/surika/Group-Fairness-LLMs获取。
引用
@article{arxiv.2312.15478,
title = {A Group Fairness Lens for Large Language Models},
author = {Guanqun Bi and Yuqiang Xie and Lei Shen and Yanan Cao},
journal= {arXiv preprint arXiv:2312.15478},
year = {2025}
}
备注
Accepted to EMNLP 2025 Findings