大型语言模型通过反驳、解释和目标感知提示格式化在逻辑谬误推理方面表现更优
人工智能
2025-04-01 v1 计算与语言
机器学习
摘要
大型语言模型(LLM)的发展极大地提高了我们处理复杂语言的能力。然而，准确检测逻辑谬误仍然是一个重大挑战。本研究提出了一种新颖且有效的提示格式化方法，用于逻辑谬误检测，适用于监督(微调)和非监督(零样本)两种设置。我们的方法通过纳入隐式上下文信息——反驳论点、解释和目标——来丰富输入文本，并在该论点的语境中查询其有效性。随后，我们根据置信度得分对这些查询进行排序，以指导分类。我们在来自5个领域的多个数据集上进行评估，覆盖29种不同的谬误类型，使用来自GPT和LLaMA系列的模型。结果显示，在零样本设置下，F1分数提升了最高可达0.60，在微调模型中提升了最高可达0.45。广泛的分析进一步阐明了为何以及如何我们的方法取得了优势。
引用
@article{arxiv.2503.23363,
title = {Large Language Models Are Better Logical Fallacy Reasoners with Counterargument, Explanation, and Goal-Aware Prompt Formulation},
author = {Jiwon Jeong and Hyeju Jang and Hogun Park},
journal= {arXiv preprint arXiv:2503.23363},
year = {2025}
}
备注
Accepted to NAACL 2025 Findings