大语言模型对逻辑谬误的易感性研究
计算与语言
2025-01-03 v1
摘要
本文通过探究谬误论证对其逻辑推理性能的影响，考察了大语言模型（LLMs）在多轮论证辩论中的理性思维能力。更具体地，我们提出了逻辑能力评测基准（LOGICOM），一个用于评估 LLMs 对逻辑谬误鲁棒性的诊断基准。LOGICOM 涉及两个智能体：说服者和辩论者就一个有争议的话题进行多轮辩论，其中说服者试图让辩论者相信其主张的正确性。首先，LOGICOM 评估 LLMs 通过推理改变观点的潜力。然后，它通过对比说服者使用逻辑谬误与使用逻辑推理的场景，评估辩论者的逻辑推理表现。我们使用一个包含有争议话题、主张及支持理由的数据集，基于该基准评估了 GPT-3.5 和 GPT-4 的性能。我们的发现表明，GPT-3.5 和 GPT-4 均能通过推理调整其观点。然而，当面对逻辑谬误时，与使用逻辑推理相比，GPT-3.5 和 GPT-4 被错误说服的频率分别高出 41% 和 69%。最后，我们引入了一个包含超过 5k 对逻辑论证与谬误论证的新数据集。本工作的源代码与数据集已公开可用。
引用
@article{arxiv.2308.09853,
title = {How susceptible are LLMs to Logical Fallacies?},
author = {Amirreza Payandeh and Dan Pluth and Jordan Hosier and Xuesu Xiao and Vijay K. Gurbani},
journal= {arXiv preprint arXiv:2308.09853},
year = {2025}
}