用于自然语言推理的混合模型:三段论逻辑的案例

尽管神经模型取得了显著进展,其泛化能力——逻辑推理等应用的核心基石——仍然是一项关键挑战。我们将这种能力区分为两个基本方面:组合性,即抽象出复杂推理背后原子逻辑规则的能力;递归性,即通过迭代应用推理规则构建复杂表示的能力。在已有文献中,这两个方面常被笼统地归入泛化这一总称之下。为了厘清这一区分,我们以三段论片段作为自然语言推理的基准,研究 LLM 的逻辑泛化能力。我们扩展经典三段论形式以构建更复杂的结构,得到一个基础但具有表达力的形式逻辑子集,从而支持对核心推理能力的受控评估。我们在该非平凡基准上的发现表明,虽然 LLM 在递归性方面表现出合理的熟练度,但在组合性方面存在困难。这种差异并非均匀一致,更细致的分析揭示了在不同三段论类型之间泛化性能存在显著差异,涵盖从近乎完美的准确率到显著较低的表现。为了克服这些局限并构建一个可靠的逻辑证明器,我们提出一种将符号推理与神经计算相融合的混合架构。这种协同交互实现了稳健且高效的推理:神经组件加速处理,而符号推理保证完备性。我们的实验进一步表明,即便使用相对较小的神经组件,高效率仍得以保持。总体而言,我们的分析既为神经-符号混合方法提供了依据,也展示了其在应对神经推理系统中关键泛化障碍方面的潜力。