利用多样化提示代理扩展搜索空间：一种用于大语言模型数学推理的高效采样方法

大语言模型（LLM）在许多复杂任务（包括数学推理）中表现出了卓越的能力。然而，传统方法严重依赖于在单一提示方法内确保自洽性，这限制了对多样化问题解决策略的探索。本研究通过在数学推理领域内对不同提示方法进行实验分析来解决这些局限性。我们的研究结果表明，每种方法都探索了不同的搜索空间，并且这种差异随着问题复杂性的增加而变得更加明显。为了利用这一现象，我们应用了一种高效的采样过程，该过程均匀地组合了来自这些不同方法的样本，这不仅扩展了最大搜索空间，而且与单一方法相比，以更少的运行次数实现了更高的性能。特别是在MATH数据集的困难子集（称为MATH-hard）中，在实现最大搜索空间的同时，平均比单一方法少用了约43%的运行次数。这些发现强调了整合多样化问题解决策略以增强LLM推理能力的重要性。