AI增强调查:利用大语言模型与调查进行意见预测
计算与语言
2026-05-21 v4 人工智能
机器学习
摘要
全国代表性调查追踪公众意见,但每年仅询问有限的一组问题,限制了其捕捉历史变化的潜力。为填补这一空白,我们开发了一个基于大语言模型(LLM)的框架,通过融入问题、受访者和调查时期的嵌入,来预测重复横截面调查中的缺失回答。我们引入了LLM在调查研究中的两种新应用:回溯预测(retrodiction,预测年度层面的缺失意见)和未问及意见预测(unasked opinion prediction,预测完全缺失的意见)。利用1972-2021年综合社会调查(General Social Surveys, GSS)的数据,我们的基于LLM的模型在通过交叉验证回溯被掩蔽的GSS意见,以及在GSS未询问这些意见的年份由其他组织测量的公众意见方面表现强劲。这些能力使我们能够恢复缺失的趋势并精确定位公众态度发生转变的时间,例如对同性婚姻支持度的上升。然而,对于未问及意见预测,性能仍然有限。我们展示了我们的模型何时优于既有基准,考察了哪些意见和受访者更具可预测性,并评估了我们的方法是否降低了LLM homogenize 预测回答的倾向。我们的研究表明LLM与调查可以相互促进:LLM拓宽了调查的潜力,而调查为LLM模拟人类意见提供了校准。
引用
@article{arxiv.2305.09620,
title = {AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction},
author = {Junsol Kim and Byungkyu Lee},
journal= {arXiv preprint arXiv:2305.09620},
year = {2026}
}