探索与利用表面形式对大语言模型数学推理影响: paraphrase and solve

本文研究了数学问题的表面形式与其由大语言模型求解性之间的关系。我们发现，表面形式的细微变化会显著影响答案分布和求解率，这暴露了语言模型在通过复杂问题进行推理时的鲁棒性不足和对表面形式的敏感性。为了提高数学推理性能，我们提出了自我一致性过释义(Self-Consistency-over-Paraphrases, SCoP)，该方法从特定问题的表面形式中多样化推理路径。我们在三个大型语言模型上对四个数学推理基准进行评估，表明SCoP在vanilla自我一致性方法方面的数学推理性能得到提高，特别是对于最初被认为不可求解的问题。最后，我们提供了额外的实验和讨论，包括跨模型难度一致性、释义可迁移性以及语言模型评估中的变异的变数(Variance of Variations, VOV)。