相当不错，但还不够：大语言模型中的民族偏见——以 ChatGPT 为案例研究
计算与语言
2024-05-14 v1
摘要
尽管民族身份是增强语言模型性能的关键人口学要素，但关于其内在偏见的关注力度远不足。本研究探讨了大语言模型（LLM）ChatGPT（GPT-3.5）中的民族偏见。研究覆盖 195 个国家、4 个温度设置和 3 种不同的提示类型，生成 4680 条关于民族描述的论述（中文和英文）。使用自动化指标分析民族偏见，专家注释者和 ChatGPT 本身均对所感知到的偏见进行评估。结果表明，ChatGPT 生成的论述主要呈积极倾向，尤其与其前身 GPT-2 相比更为积极。然而，在被动作用为消极倾向时，它偶尔会生成消极内容。尽管 ChatGPT 认为其生成的文本是中性的，但在受到相同配对比较注释框架约束时，它显示出对民族偏见的持续自我意识。在结论方面，尽管 ChatGPT 生成的文本看起来友好且积极，但它们反映了现实世界中固有的民族偏见。这种偏见可能在不同语言版本的 ChatGPT 中有所不同，表明不同的文化视角。该研究凸显了大语言模型中偏见的微妙且普遍的本质，强调需要进一步审视。
引用
@article{arxiv.2405.06996,
title = {Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT},
author = {Shucheng Zhu and Weikang Wang and Ying Liu},
journal= {arXiv preprint arXiv:2405.06996},
year = {2024}
}
备注
Accepted by LREC-COLING 2024