MathFimer：通过填充中间任务扩展推理步骤以增强数学推理

数学推理是推进大型语言模型（LLM）的一个关键前沿。虽然逐步推理方法已成为LLM中数学问题求解的主导范式，但训练数据中推理步骤的质量从根本上限制了模型的性能。最近的研究表明，更详细的中间步骤可以增强模型性能，但现有的方法要么需要更强大的外部模型，要么会产生巨大的计算成本。本文引入MathFimer，一种受代码推理中的“填充中间”任务启发的数学推理步骤扩展框架。通过将解链分解为前缀-后缀对并训练模型重建缺失的中间步骤，我们开发了专用的模型MathFimer-7B，并基于精心策划的NuminaMath-FIM数据集进行训练。随后，我们应用这些模型来增强现有的数学推理数据集，通过在解链中插入详细的中间步骤来创建MathFimer扩展版本。通过对多个数学推理数据集的全面实验，包括MathInstruct、MetaMathQA等，我们展示，在GSM8K和MATH等多个基准上，训练于MathFimer扩展数据集的模型在各种情况下均优于训练于原始数据集的模型。我们的做法为在不依赖强大外部模型或高昂推理成本的情况下提升LLM的数学推理能力提供了一种实用、可扩展的解决方案。