基于 LLM 的逻辑理论归纳学习：一种基于表达力梯度的分析
计算与语言
2025-01-15 v2 人工智能
计算机科学中的逻辑
摘要
本文提出了一种新颖的系统方法，在逻辑理论归纳学习中，结合来自形式推理引擎的反馈，分析大型语言模型（LLM）的能力与局限性。该分析根据规则依赖结构进行复杂度分级，从而能够量化特定推理挑战对 LLM 性能的影响。将 LLM 与形式方法相结合是自然语言处理领域一个极具前景的前沿方向，是提升模型推理可控性与可解释性的重要途径。特别是，在复杂的事实与规则集合上进行归纳学习，对当前的自回归模型提出了独特的挑战，因为它们缺乏显式的符号基础。尽管形式系统可以作为其补充，但 LLM 在归纳学习方面所展现出的特性尚未得到很好的理解与量化。实验结果表明，最大的 LLM 能够取得与 SOTA 归纳逻辑编程（ILP）系统基线相媲美的结果，同时也表明对 LLM 而言，追踪长谓词关系链是比理论复杂性更困难的障碍。
引用
@article{arxiv.2408.16779,
title = {Inductive Learning of Logical Theories with LLMs: An Expressivity-Graded Analysis},
author = {João Pedro Gandarela and Danilo S. Carvalho and André Freitas},
journal= {arXiv preprint arXiv:2408.16779},
year = {2025}
}