探索大语言模型中社会愉好响应偏差：来自GPT-4模拟的证据
人工智能
2024-10-22 v1 计算机与社会
摘要
大型语言模型(LLM)被用于模拟社会调查中的人类类响应，但尚不清楚它们是否发展出类似于社会愉好响应(SDR)偏差的偏差。为调查此问题，我们将GPT-4分配给四个社会的角色，使用2022年 Gallup世界普查数据。这些合成样本随后被提示，带或不带旨在诱导SDR的承诺声明。结果并非一致。尽管承诺声明提高了SDR指数分数，表明存在SDR偏差，但它降低了公民参与分数，显示出相反趋势。额外发现表明，人口统计特征与SDR分数相关，并且承诺声明对GPT-4的预测性能影响有限。该研究强调了利用LLM来调查人类及LLM自身偏差的潜在途径。
关键词
引用
@article{arxiv.2410.15442,
title = {Exploring Social Desirability Response Bias in Large Language Models: Evidence from GPT-4 Simulations},
author = {Sanguk Lee and Kai-Qi Yang and Tai-Quan Peng and Ruth Heo and Hui Liu},
journal= {arXiv preprint arXiv:2410.15442},
year = {2024}
}