理解大型语言模型中内在的社会经济偏见
计算与语言
2024-05-30 v1 计算机与社会
机器学习
摘要
大型语言模型(LLMs)正逐渐被集成到信贷审批、签证申请等关键决策过程中，潜在偏见可能导致歧视性结果。本文审视了人口属性与 LLMs 中社会经济偏见之间的细致关系，这一公平性研究的关键且尚未充分探讨的领域。我们构建了一个包含百万英文句子的新型数据集，系统性地衡量不同人口群体之间的社会经济偏见。我们的发现表明，无论是既有模型如 GPT-2，还是最新模型如 Llama 2 和 Falcon，都存在显著的社会经济偏见。我们进一步表明，这些偏见在交叉性分析下会被放大，LLMs 展现出从姓名中提取多种人口属性并将其与特定社会经济偏见关联的惊人能力。该研究凸显了有必要采取主动且稳健的偏见缓解措施，以防止在关键现实应用中产生歧视性结果。
引用
@article{arxiv.2405.18662,
title = {Understanding Intrinsic Socioeconomic Biases in Large Language Models},
author = {Mina Arzaghi and Florian Carichon and Golnoosh Farnadi},
journal= {arXiv preprint arXiv:2405.18662},
year = {2024}
}