归纳或演绎？重新思考大语言模型的基本推理能力
人工智能
2024-08-08 v2
摘要
推理包含两种典型类型：演绎推理和归纳推理。尽管对大语言模型(LLM)的推理能力进行了大量研究，但大多数研究未能严格区分演绎推理和归纳推理，导致两者混合。这引发了一个根本问题：在LLM推理中，演绎推理还是归纳推理更具挑战性？尽管对LLM的演绎推理能力（即其在推理任务中遵循指令的能力）获得了 considerable注意，但LLM在真正的归纳推理方面的能力却鲜有探讨。为调查LLM的真实归纳推理能力，我们提出了一种新框架SolverLearner。该框架使LLM仅通过上下文中的示例即可学习将输入数据点(x)映射到其相应输出值(y)的底层函数(i.e., y = f_w(x))。通过关注归纳推理并将其与LLM-based演绎推理分离，我们可以隔离并通过SolverLearner以纯粹形式研究LLM的归纳推理。我们的观察表明，LLM通过SolverLearner展现出惊人的归纳推理能力，大多数情况下准确率达到1。意外地的是，尽管LLM具有强大的归纳推理能力，但它们相对缺乏演绎推理能力，特别是在涉及“反事实”推理的任务中。
引用
@article{arxiv.2408.00114,
title = {Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs},
author = {Kewei Cheng and Jingfeng Yang and Haoming Jiang and Zhengyang Wang and Binxuan Huang and Ruirui Li and Shiyang Li and Zheng Li and Yifan Gao and Xian Li and Bing Yin and Yizhou Sun},
journal= {arXiv preprint arXiv:2408.00114},
year = {2024}
}