基于蒙特卡洛规划的忠实问答

尽管大语言模型展现出卓越的问答性能，但揭示模型所忠实遵循的中间推理步骤仍然具有挑战性。本文提出 FAME（基于蒙特卡洛规划的忠实问答，FAithful question answering with MontE-carlo planning），基于忠实的推理步骤来回答问题。推理步骤被组织为结构化的蕴含树，展示前提如何被用于产生可证明答案正确性的中间结论。我们将该任务形式化为离散决策问题，并通过推理环境与控制器的交互来求解。环境是模块化的，包含若干面向基本任务的模块，而控制器提出动作以组装这些模块。由于搜索空间可能很大，我们引入蒙特卡洛规划算法进行前瞻搜索，并选择最终能导向高质量步骤的动作。FAME 在标准基准上取得了最先进的性能。与模型规模大得多的大语言模型相比，它能生成有效且忠实的推理步骤。