演绎与归纳推理在大语言模型中的作用
人工智能
2025-07-09 v3 计算与语言
机器学习
摘要
大语言模型（LLM）在推理任务中展现了令人印象深刻的能力，但其对静态提示结构的依赖以及对复杂场景的有限适应性仍然是一个重大挑战。本文提出演绎与归纳（Deductive and InDuctive, DID）方法，通过动态整合演绎和归纳两种推理方式来增强 LLM 的推理能力。借鉴认知科学原理，DID 实现了一个双指标复杂度评估系统，结合 Littlestone 维度和信息熵来精确评估任务难度并指导分解策略。DID 使模型能够根据问题复杂度逐步调整其推理路径，模拟人类认知过程。我们在多个基准测试上评估了 DID 的有效性，包括 AIW、MR-GSM8K 以及我们为时间推理定制的 Holiday Puzzle 数据集。我们的结果表明，推理质量和准确率均有显著提升——在 AIW 上达到 70.3% 的准确率（相比之下，思维树为 62.2%），同时保持了较低的计算成本。DID 在提升 LLM 性能的同时保持计算效率，这表明了开发更符合认知、能力更强的语言模型的有前景的方向。我们的工作贡献了一种有理论依据、以输入为中心的方法来增强 LLM 的推理能力，为传统的输出探索方法提供了一种高效的替代方案。
关键词
引用
@article{arxiv.2410.02892,
title = {The Role of Deductive and Inductive Reasoning in Large Language Models},
author = {Chengkun Cai and Xu Zhao and Haoliang Liu and Zhongyu Jiang and Tianfang Zhang and Zongkai Wu and Jenq-Neng Hwang and Lei Li},
journal= {arXiv preprint arXiv:2410.02892},
year = {2025}
}
备注
4 figures, accept at ACL2025 Main