大型语言模型是变色龙吗？模拟社会调查的一次尝试
计算与语言
2024-10-22 v2 人工智能
计算机与社会
机器学习
摘要
大型语言模型能否模拟社会调查？为了回答这个问题，我们进行了数百万次模拟，要求LLMs回答主观问题。将不同LLM的回答与欧洲社会调查数据进行比较表明，提示对偏差和变异性的影响是根本性的，突显了主要的文化、年龄和性别偏见。我们进一步讨论了用于衡量LLM答案与调查数据之间差异的统计方法，并提出了一种受杰卡德相似性启发的新度量，因为LLM生成的响应可能具有较小的方差。我们的实验还揭示，在使用LLMs模拟社会调查之前，分析提示的鲁棒性和变异性非常重要，因为它们的模仿能力最多只是近似的。
引用
@article{arxiv.2405.19323,
title = {Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys},
author = {Mingmeng Geng and Sihong He and Roberto Trotta},
journal= {arXiv preprint arXiv:2405.19323},
year = {2024}
}
备注
17 pages