大型语言模型说服力的元分析
人机交互
2025-12-02 v1
摘要
大型语言模型（LLMs）日益用于说服场景，如政治传播和营销中，影响人们的思考方式、选择和行动方式。然而，关于LLMs在说服效果上是否优于人类，实证研究结果仍不一致。本研究旨在系统性地审视和元分析性地评估LLMs是否在说服效果上存在与人类的差异。我们识别了7项研究，涉及17,422名主要来自英语国家的受试者，以及12个效应大小估计值。Egger检验显示潜在的小研究效应（p = .018），但经由修剪-填充分析未推断出缺失研究，表明出版偏风风险较低。随后，我们基于Hedges' g计算标准化效应大小。结果显示，LLMs与人类在说服性能力之间不存在显著差异（g = 0.02，p = .530）。然而，我们观察到研究之间存在显著的异质性（I² = 75.97%），表明说服性质高度依赖具体情境。 在独立的探索性中介剂分析中，没有单个因素（如LLM模型、对话设计或领域）达到统计显著性，这可能是由于研究数量有限。当这些因素在联合模型中一起考虑时，解释了大部分研究间变异（R² = 81.93%），且残余异质性较低（I² = 35.51%）。尽管基于少数研究，但这表明LLM模型、对话设计和领域之间的差异是塑造说服性能力的重要情境因素，而单一因素测试可能低估了这些因素的影响。我们的结果表明，LLMs在说服方面可以与人类相当，但其成功程度高度取决于其在沟通情境中的实现方式和嵌入方式。
引用
@article{arxiv.2512.01431,
title = {A Meta-Analysis of the Persuasive Power of Large Language Models},
author = {Lukas Hölbling and Sebastian Maier and Stefan Feuerriegel},
journal= {arXiv preprint arXiv:2512.01431},
year = {2025}
}