评估大型语言模型聊天机器人对民主社会的说服风险框架
计算与语言
2025-05-02 v1 计算机与社会
摘要
近年来,人们对大型语言模型（LLM）通过其说服能力对民主社会可能构成的威胁越来越担忧。我们在现有研究基础上进行扩展，通过进行两项调查实验和一项真实世界情景模拟练习,确定使用LLM聊天机器人说服大量选民是否比标准政治竞选实践更具成本效益,并考虑说服过程中的“接收”和“接受”两个步骤（Zaller 1992）。这些实验在此之前的工作基础上进行改进,通过评估人类与LLM之间的延长交互作用,以及评估短期和长期说服效果（而不仅仅是询问用户对LLM生成内容的说服力进行评估）。在三个不同的政治领域中进行的两项调查实验（N=10,417）中,我们发现尽管LLM在选民暴露后大致与实际竞选广告一样具有说服力,但政治说服在现实世界中取决于选民接触说服信息以及其在接触后的影响。基于现实世界参数的模拟估计显示,当考虑暴露成本时,LLM-based说服的成本为48-74美元/位被说服的选民,而传统竞选方法为100美元/位。然而,目前扩大传统竞选说服方法的规模要比LLM-based说服更容易。尽管LLM目前似乎不比现有的非LLM方法在大规模政治说服方面具有显著的优势,但随着LLM能力的持续提升以及更容易实现规模化鼓励接触LLM说服内容,这一点可能会改变。
引用
@article{arxiv.2505.00036,
title = {A Framework to Assess the Persuasion Risks Large Language Model Chatbots Pose to Democratic Societies},
author = {Zhongren Chen and Joshua Kalla and Quan Le and Shinpei Nakamura-Sakai and Jasjeet Sekhon and Ruixiao Wang},
journal= {arXiv preprint arXiv:2505.00036},
year = {2025}
}