MAmmoTH：通过混合指令微调构建数学通才模型
计算与语言
2023-10-04 v3
摘要
我们介绍了 MAmmoTH，一系列专为通用数学解题而定制开源大语言模型（LLM）。MAmmoTH 模型在 MathInstruct 上训练，这是我们精心策划的指令微调数据集。MathInstruct 由 13 个带有中间推理过程的数学数据集编译而成，其中六个的推理过程由我们新近策划。它呈现了思维链（CoT）与程序思维（PoT）推理过程的独特混合，并确保了对数学中不同领域的广泛覆盖。CoT 与 PoT 的混合不仅释放了工具使用的潜力，还允许针对不同数学问题采用不同的思考过程。因此，MAmmoTH 系列在九个数学推理数据集上以所有规模大幅超越现有开源模型，平均准确率提升介于 16% 至 32% 之间。值得注意的是，我们的 MAmmoTH-7B 模型在 MATH（竞赛级数据集）上达到 33%，超过了最佳开源 7B 模型（WizardMath）23%；而 MAmmoTH-34B 模型在 MATH 上取得 44% 的准确率，甚至超越了 GPT-4 的 CoT 结果。我们的工作强调了在开发更优数学通才模型时，问题覆盖的多样性与混合推理过程使用的重要性。
引用
@article{arxiv.2309.05653,
title = {MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning},
author = {Xiang Yue and Xingwei Qu and Ge Zhang and Yao Fu and Wenhao Huang and Huan Sun and Yu Su and Wenhu Chen},
journal= {arXiv preprint arXiv:2309.05653},
year = {2023}
}
备注
Work in progress; Xiang Yue and Wenhu Chen contributed equally to this paper