深入审视大语言模型在逻辑推理中的自验证能力

逻辑推理一直是 AI 领域的持续追求。尽管大语言模型（LLMs）取得了显著进展，它们仍难以应对复杂的逻辑推理问题。为提升推理性能，一个大有前景的方向是可扩展监督，其要求 LLMs 识别自身错误并自行改进。为实现该目标，已有多种自验证方法被提出。然而，现有模型是否良好理解自身错误仍在考察之中。本文中，我们在逻辑推理背景下深入审视 LLMs 的自验证能力，聚焦于其准确识别逻辑谬误的能力。我们引入一个名为 FALLACIES 的数据集，包含按层次分类法归类的 232 类推理谬误。通过在 FALLACIES 上开展详尽实验，我们获得了一系列模型在其验证能力上的全面细致分析。主要发现表明，现有 LLMs 可能难以准确识别谬误推理步骤，且或许无法保证自验证方法的有效性。基于这些观察，我们对自验证方法的未来研究与实用应用给出建议。