利用合成数据探索大语言模型的数学外推能力

大语言模型（LLMs）在语言理解、文本生成、代码合成以及许多其他任务中表现出色，但在复杂的多步推理问题（如数学推理）中仍然存在困难。在本文中，通过一个新提出的算术谜题问题，我们展示了模型可以通过对高质量合成数据的微调，在多步推理任务上表现良好。使用 open-llama-3B 模型在三个不同测试数据集上的实验结果表明，模型不仅在领域内数据集上达到了 0.44 的零样本 pass@1，而且在领域外数据集上也展现出一定的泛化能力。具体来说，本文分别设计了两个领域外数据集，分别扩展了算术谜题问题的数值范围和组成成分。微调后的模型在这两个难度更大的任务上表现令人鼓舞，零样本 pass@1 分别达到 0.33 和 0.35。