AutoPSV：自动化过程监督验证器

在这项工作中，我们提出了一种名为自动化过程监督验证器（AutoPSV）的新方法，通过自动标注推理步骤来增强大型语言模型（LLMs）的推理能力。AutoPSV 首先在最终答案的正确性上训练一个验证模型，使其能够生成自动过程标注。该验证模型为每个推理步骤分配一个置信度分数，指示从该步骤起得出正确最终答案的概率。我们检测推理步骤间验证置信度分数的相对变化以自动标注推理过程，即使在无法获得真实答案的场景下也能进行错误检测。这缓解了对大量人工标注的需求，或与模型诱导的标注方法相关的高计算成本。我们通过实验验证了在最终答案正确性上训练的验证模型所学到的步骤级置信度变化，可以有效识别推理步骤中的错误。我们证明，当在 AutoPSV 生成的过程标注上训练时，验证模型在从多个 LLM 生成的输出中选择正确答案方面表现出更好的性能。值得注意的是，我们在数学和常识推理的五个数据集上取得了显著提升。AutoPSV 的源代码可在 https://github.com/rookie-joe/AutoPSV 获取。