情绪真的影响论证说服力吗？一种基于LLM操纵检验的动态方法

已有研究表明情绪在论证说服力中发挥作用，然而这一方面在自然语言处理（NLP）领域尚未得到充分探索。与使用静态分析、专注于单一文本领域或语言、或将情绪仅视为众多因素之一的研究不同，我们引入了一个受心理学和社会科学中常用的操纵检验启发的动态框架；该框架利用基于LLM的操纵检验，考察了感知到的情绪强度在多大程度上影响感知到的说服力。通过对不同语言、文本领域和主题的论证进行人类评估，我们发现，在超过一半的情况下，尽管感知到的情绪强度有所变化，但人类对说服力的判断保持不变；当情绪确实产生影响时，它们更常增强而非削弱说服力。我们进一步分析了11个LLM在相同场景下是否表现得像人类，发现虽然LLM总体上反映了人类模式，但它们难以在个体判断中捕捉到细微的情绪效应。