大语言模型能够推断社交媒体用户的心理倾向
计算与语言
2024-06-06 v2 人工智能
计算机与社会
人机交互
机器学习
社会与信息网络
摘要
大语言模型（LLM）在各类任务中展现出日益类人的能力。在本文中，我们探究诸如 ChatGPT 的 LLM 能否准确推断社交媒体用户的心理倾向，以及这种能力是否因社会人口群体而异。具体而言，我们测试 GPT-3.5 和 GPT-4 能否在零样本学习场景下从用户的 Facebook 状态更新中推导大五人格特质。我们的结果显示，LLM 推断得分与自我报告特质得分之间的平均相关系数为 r = .29（范围 = [.22, .33]）——这一准确度与专门训练用于推断人格的监督式机器学习模型相当。我们的发现还凸显了不同年龄段和性别类别间人格推断准确度的异质性：在若干特质上，对女性和年轻个体的预测更准确，暗示潜在偏差源于底层训练数据或在线自我表达的差异。LLM 从用户生成文本中推断心理倾向的能力，有潜力使研究者和从业者都能以廉价且可扩展的方式获取心理测量评估。一方面，这种民主化可能促进高生态效度的大规模研究并激发个性化服务的创新；另一方面，它也引发有关用户隐私与自我决定的伦理担忧，凸显出对严格伦理框架与监管的迫切需求。
引用
@article{arxiv.2309.08631,
title = {Large Language Models Can Infer Psychological Dispositions of Social Media Users},
author = {Heinrich Peters and Sandra Matz},
journal= {arXiv preprint arXiv:2309.08631},
year = {2024}
}