发现共享逻辑子空间：通过自然语言与符号视图的对齐引导 LLM 逻辑推理

大型语言模型 (LLMs) 在多步逻辑推理方面仍然存在困难。现有方法要么纯粹以自然语言形式细化推理链，要么将符号求解器作为外部模块附加。在本工作中，我们转而探讨 LLMs 是否包含一个共享的内部逻辑子空间，该子空间同时与推理过程的自然语言和符号语言视图相对齐。我们的假设是，该逻辑子空间捕获了 LLMs 中跨视图共享且独立于表面形式的逻辑推理能力。为了验证这一点，我们对来自自然语言和符号语言推理链的配对残差激活采用典型相关分析，学习一个具有最大跨视图相关性的低维子空间。此外，我们设计了一种免训练方法，沿此逻辑子空间引导 LLMs 的推理链，从而利用来自两种视图的互补推理信号。在四个逻辑推理基准上的实验证明了我们方法的有效性，准确率最高提升 11 个百分点，并且在域外问题上具有良好的泛化能力。