语言模型虚拟人格的深度绑定：关于近似政治党派误解的研究
计算与语言
2025-09-03 v5
摘要
大型语言模型（LLMs）日益具备模拟人类行为的能力，为以低成本方式估计用户对各种调查和投票的响应提供了可能。然而，这些调查的问题通常反映社会上被广泛理解的态度：即旧/年轻、自由/保守等群体的态度模式，这些态度被该群体的成员及其非成员所理解。是否清楚 LLM 的绑定是深层的（即 LLM 以特定群体成员身份作答），还是浅层的（即 LLM 根据该群体外成员对该群体成员应当作出的反应作答），尚不明确。为探索这种差异，我们使用揭示已知群体内/群体外偏见的问题。这种保真度对于将 LLMs 应用于各种政治科学研究至关重要，包括关于极化动态、群体间冲突和民主倒退的时事议题。为此，我们提出一种新颖的方法，用于构建以合成用户“背景故事”生成的虚拟人格。这种方法依据“叙事身份”理论进行论证，后者认为人格在最高层面是由自身叙事构成的。我们的生成背景故事更长、更丰富，能够真实地描述单个个体。我们展示，基于我们的背景故事条件化的虚拟人格与人类响应分布 closely replicate（通过 Wasserstein Distance 测量，提高了最高 87%），并产生与原始研究中所观察到的群体内/群体外偏见效应大小相匹配的效果大小。总体而言，我们的工作将 LLMs 的适用性扩展到估计社会上被广泛理解的响应之外，使其能够在更广泛的人类研究中使用。
引用
@article{arxiv.2504.11673,
title = {Deep Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions},
author = {Minwoo Kang and Suhong Moon and Seung Hyeong Lee and Ayush Raj and Joseph Suh and David M. Chan and John Canny},
journal= {arXiv preprint arXiv:2504.11673},
year = {2025}
}
备注
COLM 2025