忠实思维链推理

尽管思维链（Chain-of-Thought, CoT）提示提升了语言模型（LM）在一系列复杂推理任务上的表现，所生成的推理链未必反映模型得出答案的实际过程（即忠实性）。我们提出忠实思维链（Faithful CoT），一种包含两阶段的推理框架：翻译（自然语言查询 $\rightarrow$ 符号推理链）与问题求解（推理链 $\rightarrow$ 答案），分别使用 LM 与确定性求解器。这保证了推理链对最终答案提供忠实解释。除可解释性外，忠实思维链也提升了实证表现：在来自 4 个不同领域的 10 个基准中的 9 个上优于标准 CoT，在数学应用题（MWP）上相对准确率提升 6.3%，在规划上提升 3.4%，在多跳问答（QA）上提升 5.5%，在关系推理上提升 21.4%。此外，借助 GPT-4 与 Codex，它在 7 个数据集上确立了新的少样本 SOTA 表现（其中 6 个达到 95.0+ 准确率），显示出忠实性与准确性之间的强协同效应。