CauseJudger:利用 LLM 进行溯因逻辑推理的因果识别
人工智能
2024-09-10 v1
摘要
大型语言模型(LLM)已被用于解决各种推理任务,涵盖常识、算术和演绎任务。然而,由于逆向思维模式的困难和无关前提的存在,如何在溯因逻辑推理中确定原因的真实性仍有待探索。受人类思维过程中的假设与验证方法以及无关信息识别的启发,我们提出了一种用于 LLM 溯因逻辑推理的新框架 CauseJudger (CJ),该框架通过将思维从逆向转化为正向并移除无关信息来识别可能原因的真实性。此外,我们构建了一个用于决策任务的溯因逻辑推理数据集 CauseLogics,其中包含 200,000 个具有不同推理长度的任务。我们的实验通过在本文数据集和重构的公开数据集上的总体实验、消融实验以及案例研究,展示了 CJ 的有效性。值得注意的是,CJ 的实现非常高效,仅需两次调用 LLM。其影响是深远的:当使用 gpt-3.5 时,与 Zero-Shot-CoT 相比,CJ 的正确率最高提升了 41%。此外,当使用 gpt-4 时,CJ 在所有数据集上的准确率均超过 90%。
引用
@article{arxiv.2409.05559,
title = {CauseJudger: Identifying the Cause with LLMs for Abductive Logical Reasoning},
author = {Jinwei He and Feng Lu},
journal= {arXiv preprint arXiv:2409.05559},
year = {2024}
}