InternLM-Math：面向可验证推理的开放数学大语言模型
计算与语言
2024-05-27 v2
摘要
大语言模型的数学能力可以代表其抽象推理能力。在本文中，我们介绍并开源了我们的数学推理LLM——InternLM-Math，该模型基于InternLM2进行持续预训练。我们将思维链推理、奖励建模、形式推理、数据增强和代码解释器统一在seq2seq格式下，并监督我们的模型成为多功能的数学推理器、验证器、证明器和增强器。这些能力可用于开发下一代数学LLM或进行自我迭代。InternLM-Math在上下文学习、监督微调和代码辅助推理的设置下，于包括GSM8K、MATH、匈牙利数学考试、MathBench-ZH和MiniF2F在内的各种非形式化与形式化基准测试中取得了开源的SOTA性能。我们的预训练模型在未经微调的情况下在MiniF2F测试集上达到30.3。我们进一步探索了如何使用LEAN解决数学问题，并研究了其在多任务学习设置下的性能，这展示了使用LEAN作为数学求解与证明统一平台的可能性。我们的模型、代码和数据已发布于\url{https://github.com/InternLM/InternLM-Math}。
引用
@article{arxiv.2402.06332,
title = {InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning},
author = {Huaiyuan Ying and Shuo Zhang and Linyang Li and Zhejian Zhou and Yunfan Shao and Zhaoye Fei and Yichuan Ma and Jiawei Hong and Kuikun Liu and Ziyi Wang and Yudong Wang and Zijian Wu and Shuaibin Li and Fengzhe Zhou and Hongwei Liu and Songyang Zhang and Wenwei Zhang and Hang Yan and Xipeng Qiu and Jiayu Wang and Kai Chen and Dahua Lin},
journal= {arXiv preprint arXiv:2402.06332},
year = {2024}
}