当大型语言模型在说服力上超过受激励的人类时，为何如此
计算与语言
2026-03-03 v3
摘要
大型语言模型（LLMs）已被证明具有高度说服力，但它们在何时何地能够超越人类仍是一个未解之谜。我们将两种大型语言模型（Claude 3.5 Sonnet 和 DeepSeek v3）的说服力与拥有说服动机的人类进行比较，使用交互式、实时对话环境。我们展示了大型语言模型的说服力优势是情境依赖的：它取决于说服尝试是诚实的（针对正确答案）还是欺骗的（针对错误答案），以及具体的大型语言模型，随着重复交互的次数，说服力会下降（而人类的说服力则不然）。在我们的第一次大规模实验中，人类与大型语言模型（Claude 3.5 Sonnet）与正在完成在线小测以获取奖励的人交互，试图说服他们接受给定的答案（要么是正确的，要么是错误的）。Claude 在诚实和欺骗情境中都比受激励的人类说服者更具说服力，并且在说服是诚实的情况下显著提高了准确率，但在说服是欺骗的情况下则降低了准确率。在随后的一次实验中使用DeepSeek v3，我们复现了关于准确率的发现，但只有在说服是欺骗的情况下才发现更大的大型语言模型说服力。对说服者文本的语言学分析表明，这些效果可能是由于大型语言模型比人类更具自信。
引用
@article{arxiv.2505.09662,
title = {When Large Language Models are More PersuasiveThan Incentivized Humans, and Why},
author = {Philipp Schoenegger and Francesco Salvi and Jiacheng Liu and Xiaoli Nan and Ramit Debnath and Barbara Fasolo and Evelina Leivada and Gabriel Recchia and Fritz Günther and Ali Zarifhonarvar and Joe Kwon and Zahoor Ul Islam and Marco Dehnert and Daryl Y. H. Lee and Madeline G. Reinecke and David G. Kamper and Mert Kobaş and Adam Sandford and Jonas Kgomo and Luke Hewitt and Shreya Kapoor and Kerem Oktar and Eyup Engin Kucuk and Bo Feng and Cameron R. Jones and Izzy Gainsburg and Sebastian Olschewski and Nora Heinzelmann and Francisco Cruz and Ben M. Tappin and Tao Ma and Peter S. Park and Rayan Onyonka and Arthur Hjorth and Peter Slattery and Qingcheng Zeng and Lennart Finke and Igor Grossmann and Alessandro Salatiello and Ezra Karger},
journal= {arXiv preprint arXiv:2505.09662},
year = {2026}
}