SocioEval：评估基础模型社会经济地位偏差的模板框架
计算与语言
2026-04-06 v1
摘要
随着大语言模型（LLMs）越来越多地在关键领域驱动决策系统，理解和缓解其偏差对于负责任的AI部署变得至关重要。尽管针对种族和性别等属性的偏差评估框架已经大量涌现，但社会经济地位偏差仍然显著未被充分探索，尽管它在现实世界中具有广泛影响。我们引入了SocioEval，一个基于模板的框架，通过决策任务系统地评估基础模型中的社会经济偏差。我们的分层框架涵盖8个主题和18个话题，在6个类别配对组合中生成240个提示。我们使用严格的三阶段标注协议评估了13个前沿LLM的3120个回答，揭示了偏差率的显著差异（0.42%-33.75%）。我们的发现表明偏差在不同主题中表现不同——生活方式判断的偏差比教育相关决策高10倍——部署防护措施有效防止了显性歧视，但对领域特定刻板印象表现出脆弱性。SocioEval为审计语言模型中的基于类别的偏差提供了一个可扩展、可扩展的基础。
引用
@article{arxiv.2604.02660,
title = {SocioEval: A Template-Based Framework for Evaluating Socioeconomic Status Bias in Foundation Models},
author = {Divyanshu Kumar and Ishita Gupta and Nitin Aravind Birur and Tanay Baswa and Sahil Agarwal and Prashanth Harshangi},
journal= {arXiv preprint arXiv:2604.02660},
year = {2026}
}