有限人类数据下的有效调查模拟：提示、微调与纠正的作用
计算与语言
2025-10-21 v2
摘要
调查提供了对公众意见和行为的宝贵洞察，但其执行成本高昂且耗时。大型语言模型（LLM）被提出作为人类受访者的可扩展、低成本替代方案，但其输出常常偏倚且 yield 无效的估计。我们研究了使用 LLM 生成调查响应的合成方法与纠偏 population 估计方法之间的相互作用，探讨人类响应在其中最佳的分配方式。使用关于营养、政治和经济问题的两个小组调查，我们发现仅使用合成方法会引入显著偏差（24%-86%），而将其与纠偏方法结合使用可将偏差降至 5% 以下，并将有效样本量提高最高可达 14%。总体而言，我们挑战了将所有人类响应用于微调的常见做法，表明在固定预算下，将大部分资源分配给纠偏会产生更有效的估计。
关键词
引用
@article{arxiv.2510.11408,
title = {Valid Survey Simulations with Limited Human Data: The Roles of Prompting, Fine-Tuning, and Rectification},
author = {Stefan Krsteski and Giuseppe Russo and Serina Chang and Robert West and Kristina Gligorić},
journal= {arXiv preprint arXiv:2510.11408},
year = {2025}
}
备注
19 pages, 4 figures, 9 tables