大型语言模型潜在空间中的人类偏好：关于合成数据在投票结果预测中的可靠性的技术分析
机器学习
2025-02-25 v1 人工智能
摘要
生成式人工智能 (GenAI) 正在 increasingly 用于调查情境中模拟人类偏好。尽管许多研究 endeavor 通过将模型生成的响应与金标准调查结果进行比较来评估合成 GenAI 数据的质量，但关于使用大语言模型 (LLM) 作为人类respondent 替代品的有效性和可靠性的根本问题仍存疑问。我们的研究提供了对人口统计学属性和提示变体如何影响大语言模型 (LLM) 中潜在意见映射进行技术性分析，并评估其适用于基于调查的预测。使用 14 种不同模型，我们发现 LLM 生成的数据未能复制在真实世界人类响应中观察到的方差，尤其是在不同人口统计子群之间。在政治空间中，角色到党派的映射显示出有限的区分度，导致合成数据缺乏调查数据中所见的细致意见分布。此外，我们展示了提示敏感性可以显著改变某些模型的输出，进一步削弱了 LLM-based 模拟的稳定性和可预测性。作为关键贡献，我们采用探针方法揭示了 LLM 如何在其潜在空间中编码政治派系，暴露了这些模型引入的系统性失真。我们的发现突显了 AI 生成调查数据中的关键局限性，呼吁在公共意见研究、社会科学实验和计算行为建模中谨慎使用。
引用
@article{arxiv.2502.16280,
title = {Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction},
author = {Sarah Ball and Simeon Allmendinger and Frauke Kreuter and Niklas Kühl},
journal= {arXiv preprint arXiv:2502.16280},
year = {2025}
}