数字人格何时能可靠近似人类调查发现?
计算与语言
2026-05-12 v1 人工智能
社会与信息网络
机器学习
摘要
由大语言模型 (LLM) 提供动力的数字人格日益被提议作为人类调查受访者的替代品,但目前尚不清楚它们何时能可靠地近似人类调查发现。我们采用 LISS 样本组进行实验,构建由受访者背景变量和 2023 年前调查历史构成的数字人格,然后测试它们对同一受访者持留后答案的预测效果。在四种人格架构、三个 LLM 和两种预测任务中,我们评估了在问题、受访者、分布、平等和聚类层面的性能。数字人格在与人类响应分布的对齐方面取得了改进,尤其在与稳定属性和价值观相关的领域,但在个体预测和多变量受访者结构恢复方面仍有局限。检索增强型架构提供了最明显的提升,但性能更多取决于人类响应结构而非模型选择:人格在低变异问题和常见受访者模式下表现最佳,而在主观、异质或稀有响应方面表现最差。我们的结果为何时应使用数字人格进行调查研究、何时仍需人类验证提供了实用指导。
引用
@article{arxiv.2605.10659,
title = {When Can Digital Personas Reliably Approximate Human Survey Findings?},
author = {Mumin Jia and Yilin Chen and Divya Sharma and Jairo Diaz-Rodriguez},
journal= {arXiv preprint arXiv:2605.10659},
year = {2026}
}