通过结构先验注入改进基于价值的过程验证器

在大型语言模型(LLM)推理场景中，人们通常通过蒙特卡洛采样来估计状态价值。尽管蒙特卡洛估计是一种归纳偏置较少的优雅方法，但由于有限的采样，不可避免地会引入噪声和误差。为了解决这一问题，我们将结构先验注入到价值表示中，并将标量价值转化为预定义分类分布的期望，从而从分布的角度表示噪声和误差。具体而言，通过将蒙特卡洛采样的结果视为来自先验真实二项分布的单个样本，我们将采样误差量化为后验估计分布与真实分布之间的不匹配，进而通过分布选择优化进行优化。我们在 Best-of-N 任务和 Beam search 任务上测试了基于价值的过程验证器的性能。与标量价值表示相比，我们表明由不同目标函数或优化方法诱导的合理结构先验注入，能够以几乎零成本将基于价值的过程验证器的性能提升约 1$\sim$2 个百分点。我们还表明，在不同的结构先验下，尽管具有相同的最优解，验证器的性能差异很大，这表明了合理结构先验注入的重要性。