通过大语言模型-符号定理证明对自然语言解释进行验证与精炼

自然语言解释代表了一种评估基于解释和多步自然语言推理 (NLI) 模型的代理方法。然而，评估 NLI 解释的有效性具有挑战性，因为这通常涉及众包合适的数据集，这一过程既耗时又容易出现逻辑错误。为了解决现有局限性，本文通过整合大语言模型 (LLM) 和定理证明器 (TP) 来研究自然语言解释的验证与精炼。具体而言，我们提出了一个名为 Explanation-Refiner 的神经符号框架，该框架将 TP 与 LLM 相结合，以生成和形式化解释性句子，并为 NLI 建议潜在的推理策略。反过来，TP 被用于提供关于解释逻辑有效性的形式化保证，并生成用于后续改进的反馈。我们展示了如何联合使用 Explanation-Refiner 来评估最先进 LLM 的解释性推理、自动形式化和纠错机制，以及在不同领域自动提升不同复杂度解释的质量。