大语言模型作为软推理者的系统分析：以三段论推理为例

大语言模型（LLM）的推理能力正成为NLP研究的核心焦点。在本文中，我们考虑三段论推理的情况，这是逻辑学和认知心理学中广泛研究的一个演绎推理领域。先前的研究表明，预训练的LLM表现出推理偏差，例如$\textit{内容效应}$，避免回答$\textit{无结论可得出}$，表现出类似人类的困难，并且在多步推理上存在困难。我们通过系统研究思维链推理、上下文学习（ICL）和监督微调（SFT）对三段论推理的影响，为这一研究方向做出了贡献，考虑了结论支持或违反世界知识的三段论，以及具有多个前提的三段论。至关重要的是，我们超越了标准对准确性的关注，对模型生成的结论进行了深入分析。我们的结果表明，预训练LLM的行为可以通过认知科学中研究的启发式方法解释，并且ICL和SFT都提高了模型在有效推理上的性能，尽管只有后者在不损害模型一致性的情况下减轻了大多数推理偏差。