MathGenie：利用问题反向翻译生成合成数据以增强LLM的数学推理能力
计算与语言
2024-09-12 v2 人工智能
摘要
大型语言模型（LLM）在数学推理方面展现出了巨大潜力。然而，在这一领域，现有的开源模型与闭源模型（如GPT-4）之间仍存在性能差距。在本文中，我们介绍了MathGenie，一种从小规模问题-解决方案数据集（称为种子数据）生成多样且可靠的数学问题的新方法。我们增强种子数据的真实解决方案，并训练一个反向翻译模型将增强后的解决方案翻译回新问题。随后，我们为新问题生成代码集成的解决方案。为了确保代码集成解决方案的正确性，我们采用基于原理的策略进行解决方案验证。各种预训练模型（从7B到70B）在新策划的数据上进行训练，以测试所提出的增强技术的有效性，从而产生一系列称为MathGenieLM的模型。这些模型在五个代表性的数学推理数据集上持续优于之前的开源模型，实现了最先进的性能。特别是，MathGenieLM-InternLM2在GSM8K上达到87.7%的准确率，在MATH上达到55.7%，在开源语言模型中获得了最佳总体得分。
引用
@article{arxiv.2402.16352,
title = {MathGenie: Generating Synthetic Data with Question Back-translation for Enhancing Mathematical Reasoning of LLMs},
author = {Zimu Lu and Aojun Zhou and Houxing Ren and Ke Wang and Weikang Shi and Junting Pan and Mingjie Zhan and Hongsheng Li},
journal= {arXiv preprint arXiv:2402.16352},
year = {2024}
}
备注
ACL 2024 camera ready