大语言模型受影响力作用的易感性
计算与语言
2023-03-13 v1
摘要
两项研究检验了如下假设：大语言模型(LLM)可用于建模在接触有影响力输入后的心理变化。第一项研究检验了一种通用影响模式——虚幻真相效应(ITE)——即较早接触某陈述(例如通过评价其趣味性)会提升后续真实性测试中的评分。数据来自1000名人类参与者(通过在线实验收集)和1000名模拟参与者(通过工程化提示与LLM补全生成)，每名参与者收集64个评分，使用属性(真实性、趣味性、情感与重要性)的所有暴露-测试组合。人类参与者的结果重申了ITE，并表明除真实性外其他属性无效应，且当暴露与测试使用同一属性时亦无效应。LLM模拟参与者呈现出相同的效应模式。第二项研究关注一种特定影响模式——新闻的民粹主义框架化以提升其说服与政治动员效果。收集LLM模拟参与者数据，并与先前发表的15国7286名人类参与者实验数据比较。人类研究中已证实的若干效应被模拟研究复现，包括令人类研究作者意外、因其违背理论预期而惊讶的效应(反移民框架化新闻降低其说服与动员效果)；但人类数据中的一些显著关系(民粹主义框架化有效性依参与者相对剥夺感调制)未见于LLM数据。两项研究共同支持LLM有潜力作为影响效应的模型。
引用
@article{arxiv.2303.06074,
title = {Susceptibility to Influence of Large Language Models},
author = {Lewis D Griffin and Bennett Kleinberg and Maximilian Mozes and Kimberly T Mai and Maria Vau and Matthew Caldwell and Augustine Marvor-Parker},
journal= {arXiv preprint arXiv:2303.06074},
year = {2023}
}
备注
24 pages, 6 figures, 7 tables, 53 references