LLM 的说服力有多强？结合语言修辞分析和用户实验的首次研究
人机交互
2025-08-14 v1 人工智能
计算与语言
计算机与社会
摘要
本研究考察了 ChatGPT 在具有伦理细微差别的话题上生成的论证文本的修辞和语言特征，以及其对人类读者的说服影响。通过对 62 名参与者进行的用户研究和问卷调查，分析了用户暴露于 AI 生成的论证后对意见变化和用户感知的影响。对生成文本的语言和修辞分析揭示了一致的论证宏观结构、公式化表达的依赖以及有限的风格丰富性。尽管 ChatGPT 在构建连贯的论证文本方面表现出色，但其说服力似乎受到限制，特别是在涉及伦理问题的话题上。研究发现，尽管参与者通常认可 ChatGPT 所强调的好处，但伦理关切往往在互动后仍然存在甚至加剧。结果也显示，受试者的反应因话题而异。这些发现为在伦理敏感领域的 AI 生成说服提供了新见解，并为未来研究奠定了基础。
引用
@article{arxiv.2508.09614,
title = {How Persuasive Could LLMs Be? A First Study Combining Linguistic-Rhetorical Analysis and User Experiments},
author = {Daniel Raffini and Agnese Macori and Lorenzo Porcaro and Tiziana Catarci and Marco Angelini},
journal= {arXiv preprint arXiv:2508.09614},
year = {2025}
}
备注
9-pages