中文

LLM-Mirror:基于生成型人物的问卷预测试方法

计算机与社会 2024-12-06 v2

摘要

问卷在社会科学中广泛用于理解人类行为,但其实施过程往往需要耗时耗力的反复调整。为此,研究者们日益倾向于利用大型语言模型(LLM)来模拟人类行为。虽然已有研究聚焦于分布相似性,但个体层面的比较仍属探索不足的领域。基于前期工作,我们探讨了在提供 LLM respondents' 先验信息后,是否能够同时复制统计分布和个体决策模式,这取决于采用 Partial Least Squares 结构方程模型(PLS-SEM)这一已建立的因果分析方法。我们还引入了 LLM-Mirror 概念,即通过提供受访者特定信息生成的用户人物。通过将 LLM-Mirror 生成的响应与实际个体问卷响应进行比较,我们评估了其在复制个体层面结果方面的效果。我们的发现表明:(1)PLS-SEM 分析显示,LLM 生成的响应与人类响应一致;(2)在提供受访者特定信息的情况下,LLM 能够复现个体人类响应;(3)LLM-Mirror 生成的响应在个体层面与人类响应密切一致。这些发现凸显了 LLM 作为问卷预测试和优化研究设计的补充工具的潜力。

关键词

引用

@article{arxiv.2412.03162,
  title  = {LLM-Mirror: A Generated-Persona Approach for Survey Pre-Testing},
  author = {Sunwoong Kim and Jongho Jeong and Jin Soo Han and Donghyuk Shin},
  journal= {arXiv preprint arXiv:2412.03162},
  year   = {2024}
}

备注

11 pages, 5 figures