LLM 在零样图谬论分类器方面表现如何？
计算与语言
2024-10-22 v1
摘要
谬论是论据中存在缺陷且论证有缺陷的论证。检测和分类它们是防止误导信息、操纵性主张和偏见决策的关键 NLP 任务。然而，现有的谬论分类器受限于需要足够的标记数据进行训练，这会限制其在超出分布(OOD)的一般化能力。本文聚焦于利用大语言模型(LLM)进行零样图谬论分类。为激发 LLM 的谬论相关知识和推理能力，我们提出了多样化的单轮和多轮提示方案，应用不同的任务特定指令，如提取、概述和链式思维推理。通过对基准数据集进行全面实验，我们表明 LLM 可能是潜在的零样图谬论分类器。总体而言，在单轮提示方案下，LLM 相较于最佳全数据基线在零样图表现上已达可接受水平，并且在所有 OOD 推理场景和一些开放域任务中都能超越它们。我们新颖的多轮提示方案能够有效带来更多改进，特别是对于小型 LLM 来说。我们的分析进一步强调了零样图谬论分类的未来研究方向。代码和数据可在 https://github.com/panFJCharlotte98/Fallacy_Detection 获取。
引用
@article{arxiv.2410.15050,
title = {Are LLMs Good Zero-Shot Fallacy Classifiers?},
author = {Fengjun Pan and Xiaobao Wu and Zongrui Li and Anh Tuan Luu},
journal= {arXiv preprint arXiv:2410.15050},
year = {2024}
}
备注
Accepted to EMNLP2024 main conference