评估基于 LLM 的人类人格驱动误信倾向模拟
计算与语言
2025-11-27 v1 计算机与社会
摘要
大语言模型（LLM）有望以大规模生成合成行为数据，为人类实验提供伦理且低成本的替代方案。然而，此类数据能否忠实地捕捉由人格特质驱动的心理差异，仍是未知的。我们评估了 LLM 代理（以 Big-Five 人格轮廓为条件）再现人格基础误信差异的能力，具体聚焦于新闻辨识，即判断真实标题为真实、虚假标题为虚假的能力。借助其中已知人格轮廓的受试者对标题准确性进行评分的数据集，我们创建匹配的 LLM 代理并将其响应与原始人类模式进行比较。某些特质-误信关联（尤其是 Agreeableness 和 Conscientiousness）得到可靠复制，而其他特质则出现偏差，揭示了 LLM 在内化和表达人格方面存在系统性偏见。结果既凸显了基于人格对齐 LLM 进行行为模拟的前景，也揭示了其局限性，并为在人工代理中建模认知多样性提供了新视角。
引用
@article{arxiv.2506.23610,
title = {Evaluating the Simulation of Human Personality-Driven Susceptibility to Misinformation with LLMs},
author = {Manuel Pratelli and Marinella Petrocchi},
journal= {arXiv preprint arXiv:2506.23610},
year = {2025}
}
备注
pre-print version - paper actually under submission