DeepSeekMath：推动开放语言模型中数学推理的极限
计算与语言
2024-04-30 v3 人工智能
机器学习
摘要
数学推理因其复杂且结构化的特性，对语言模型构成了重大挑战。在本文中，我们介绍了DeepSeekMath 7B，它使用来自Common Crawl的1200亿个数学相关token，结合自然语言和代码数据，对DeepSeek-Coder-Base-v1.5 7B进行了继续预训练。DeepSeekMath 7B在不依赖外部工具包和投票技术的情况下，在竞赛级MATH基准测试中取得了51.7%的惊人成绩，接近Gemini-Ultra和GPT-4的性能水平。对DeepSeekMath 7B的64个样本进行自一致性计算，在MATH上达到了60.9%。DeepSeekMath的数学推理能力归因于两个关键因素：首先，我们通过精心设计的数据选择流程，挖掘了公开可用网络数据的巨大潜力。其次，我们引入了分组相对策略优化（GRPO），这是近端策略优化（PPO）的一种变体，它在增强数学推理能力的同时，优化了PPO的内存使用。
引用
@article{arxiv.2402.03300,
title = {DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models},
author = {Zhihong Shao and Peiyi Wang and Qihao Zhu and Runxin Xu and Junxiao Song and Xiao Bi and Haowei Zhang and Mingchuan Zhang and Y. K. Li and Y. Wu and Daya Guo},
journal= {arXiv preprint arXiv:2402.03300},
year = {2024}
}