FLARE：可信逻辑辅助推理与探索

现代基于大型语言模型（LLM）的问答（QA）和推理方法常使用链式思考（Chain-of-Thought, CoT）等提示技术，假设生成的输出将对问题空间和范围进行更细致的探索和推理。然而，这些方法在生成对模型中间推理链忠实的输出方面存在困难。另一方面，神经符号方法如可信CoT（F-CoT）提出将LLM与外部符号求解器结合。虽然这些方法在忠实性方面表现出色，但通常需要针对代码生成训练的模型，难以处理含糊或难以严格形式化的任务。我们引入Faithful Logic-Aided Reasoning and Exploration（FLARE），一种用于遍历问题空间的新型可解释方法，通过任务分解实现。我们使用LLM规划解决方案，将查询软形式化为事实和谓词，使用逻辑编程代码，并通过对定义空间进行穷举多跳搜索来模拟代码执行。我们的方法允许计算推理过程相对于生成代码的忠实性，并在不依赖外部求解器的情况下分析多跳搜索的步骤。我们的方法在9个多样化推理基准测试中取得SOTA成绩。我们还展示了模型忠实性与整体性能正相关，并进一步表明FLARE允许在多跳搜索期间精确定位 sufficient for 正确答案的决定性因素。