JiuZhang3.0: 通过训练小型数据合成模型高效提升数学推理能力
计算与语言
2024-05-24 v1 人工智能
摘要
数学推理是大语言模型(LLMs)在实际应用中的重要能力。为了增强这种能力，现有工作要么收集大规模数学相关文本进行预训练，要么依赖更强的LLMs(如GPT-4)合成大量数学问题。这两类工作通常会导致训练或合成的高成本。为了降低成本，基于开源可用文本，我们提出了一种高效的方法，训练一个小型LLM用于数学问题合成，以高效生成足够的高质量预训练数据。为了实现这一点，我们使用GPT-4创建一个数据集，将其数据合成能力蒸馏到小型LLM中。具体来说，我们基于人类教育阶段设计了一组提示来指导GPT-4，以合成涵盖不同数学知识和难度级别的问题。此外，我们采用基于梯度的影响力估计方法来选择最有价值的数学相关文本。两者都输入GPT-4，用于创建知识蒸馏数据集以训练小型LLM。我们利用它合成了600万个数学问题，用于预训练我们的JiuZhang3.0模型，这仅需调用GPT-4 API 9.3k次，并在4.6B数据上进行预训练。实验结果表明，JiuZhang3.0在多个数学推理数据集上，在自然语言推理和工具操作设置下均达到了最先进的性能。我们的代码和数据将在https://github.com/RUCAIBox/JiuZhang3.0公开。
引用
@article{arxiv.2405.14365,
title = {JiuZhang3.0: Efficiently Improving Mathematical Reasoning by Training Small Data Synthesis Models},
author = {Kun Zhou and Beichen Zhang and Jiapeng Wang and Zhipeng Chen and Wayne Xin Zhao and Jing Sha and Zhichao Sheng and Shijin Wang and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2405.14365},
year = {2024}
}
备注
28 pages, SOTA math LLM using Well-trained Data Synthesis LLM