分布迁移对齐有助于 LLM 模拟调查响应分布
人工智能
2026-04-20 v2
摘要
大型语言模型（LLM）提供了一种模拟人类调查响应的前景方法， potentially 减少大规模数据收集的成本。然而，现有的零样本方法受到 prompt 敏感性和低准确率的制约，而常规微调方法主要拟合训练集分布，难以产生比训练集本身更准确的结果，这与利用 LLM 模拟调查响应的原始目标相背离。基于这一观察，我们引入分布迁移对齐（Distribution Shift Alignment, DSA），这是一种两种阶段的微调方法，通过对齐不同背景下的输出分布及分布迁移来实现目标。通过学习这些分布的变化而非拟合训练数据，DSA 能够提供与训练数据相近或更接近真实分布的结果。实验上，DSA 在五个公开调查数据集上 consistently 优于其他方法。我们进一步进行了全面比较，涵盖准确性、鲁棒性和数据节省。DSA 将实际数据需求减少 53.48-69.12%，展现出在调查模拟中的有效性和效率。
引用
@article{arxiv.2510.21977,
title = {Distribution Shift Alignment Helps LLMs Simulate Survey Response Distributions},
author = {Ji Huang and Mengfei Li and Shuai Shao},
journal= {arXiv preprint arXiv:2510.21977},
year = {2026}
}