借鉴社会科学经验重新思考大语言模型偏差探测
计算机与社会
2025-03-04 v1 人工智能
计算与语言
摘要
大语言模型偏差探测的激增引入了三个重大挑战：（1）我们缺乏选择合适探测方法的原则性标准，（2）我们缺乏一个协调不同探测方法之间冲突结果的系统，以及（3）我们缺乏形式化框架来推理探测结果何时（以及为何）会泛化到真实用户行为。我们通过利用社会科学中可操作的见解，将大语言模型社会偏差探测系统化，以应对这些挑战。然后，我们引入了EcoLevels——一个有助于（a）确定合适的偏差探测方法，（b）协调不同探测方法之间的冲突发现，以及（c）生成关于偏差泛化的预测的框架。总的来说，我们将分析建立在社会科学研究的基础上，因为许多大语言模型探测是人类探测的直接应用，而这些领域在研究人类的社会偏差时也面临过类似的挑战。基于我们的工作，我们建议下一代大语言模型偏差探测可以（并且应该）从数十年的社会科学研究中受益。
引用
@article{arxiv.2503.00093,
title = {Rethinking LLM Bias Probing Using Lessons from the Social Sciences},
author = {Kirsten N. Morehouse and Siddharth Swaroop and Weiwei Pan},
journal= {arXiv preprint arXiv:2503.00093},
year = {2025}
}