大型语言模型用于模拟调查用户响应的分析
计算与语言
2025-12-09 v1
摘要
使用大型语言模型（LLM）模拟用户意见的研究日益受到关注。然而，尤其是受人类反馈强化学习（RLHF）训练的 LLM 已知倾向于主导观点，引发对其能否代表来自不同人口统计和文化背景用户的担忧。本文我们检验 LLM 在通过直接提示和链式思维提示下模拟跨领域调查问题用户响应的能力。我们进一步提出一种主张多样化方法CLAIMSIM，该方法从 LLM 参数化知识中引出不同观点作为上下文输入。针对调查问答任务的实验表明，尽管CLAIMSIM 产生更具多样性的响应，但两种方法都难以准确模拟用户。进一步分析揭示了两个关键局限性：（1）LLM 倾向于在不同人口统计特征下维持固定观点，并生成单一视角的主张；（2）当面对相互冲突的主张时，LLM 在处理人口统计特征之间细微差异方面难以推理，限制了其根据特定用户轮廓调整响应的能力。
引用
@article{arxiv.2512.06874,
title = {An Analysis of Large Language Models for Simulating User Responses in Surveys},
author = {Ziyun Yu and Yiru Zhou and Chen Zhao and Hongyi Wen},
journal= {arXiv preprint arXiv:2512.06874},
year = {2025}
}
备注
Accepted to IJCNLP-AACL 2025 (Main Conference)