生而含着银汤匙？探究大型语言模型中的社会经济偏见
计算机与社会
2024-12-23 v4 人工智能
计算与语言
摘要
社会中的社会经济偏见加剧了差距，影响了个人基于其经济和社会背景获取机会和资源的途径。这一普遍问题使系统性不平等得以延续，阻碍了社会对包容性进步的追求。在本文中，我们研究了大型语言模型中是否存在社会经济偏见。为此，我们引入了一个新颖的数据集 SilverSpoon，包含 3000 个样本，展示了弱势群体因其处境而采取道德上存在歧义的行动的假设场景，并询问该行动在道德上是否正当。此外，该数据集具有双重标注方案，并由来自社会经济光谱两端的人员进行标注。使用 SilverSpoon，我们评估了大型语言模型表达社会经济偏见的程度，以及该程度随模型规模变化的函数关系。我们还进行了定性分析以分析这种偏见的性质。我们的分析表明，尽管人类对于哪些情况需要对弱势群体产生共情存在分歧，但大多数大型语言模型无论在何种情况下都无法对处于社会经济劣势的群体产生共情。为了促进该领域的进一步研究，我们公开了 SilverSpoon 和我们的评估工具。
引用
@article{arxiv.2403.14633,
title = {Born With a Silver Spoon? Investigating Socioeconomic Bias in Large Language Models},
author = {Smriti Singh and Shuvam Keshari and Vinija Jain and Aman Chadha},
journal= {arXiv preprint arXiv:2403.14633},
year = {2024}
}