MathMixup：通过难度可控数据合成与课程学习提升 LLM 数学推理能力
机器学习
2026-01-27 v1 人工智能
摘要
在数学推理任务中，大型语言模型（LLM）的发展高度依赖具备清晰定义和明确难度等级的高质量训练数据。然而，现有数据合成方法常受限于多样性不足和难度控制不精确，难以支持课程学习等高效训练范式。为此，我们提出 MathMixup，一种新型数据合成范式，通过混合策略和分解策略系统性地生成高质量、难度可控的数学推理问题。集成自动自我检查与人工筛选，确保语义清晰且难度梯队结构完整。基于此，我们构建了 MathMixupQA 数据集，并设计课程学习策略以利用这些分级问题，支持与其他数据集灵活集成。实验结果表明，MathMixup 及其课程学习策略显著提升了 LLM 的数学推理性能。微调的 Qwen2.5-7B 在七个数学基准测试中平均取得 52.6% 的得分，超越了先前的方法。这些结果充分验证了 MathMixup 在提升 LLM 数学推理能力和推动数据导向课程学习方面的有效性和广泛适用性。
引用
@article{arxiv.2601.17006,
title = {MathMixup: Boosting LLM Mathematical Reasoning with Difficulty-Controllable Data Synthesis and Curriculum Learning},
author = {Xuchen Li and Jing Chen and Xuzhao Li and Hao Liang and Xiaohuan Zhou and Taifeng Wang and Wentao Zhang},
journal= {arXiv preprint arXiv:2601.17006},
year = {2026}
}
备注
Preprint, Under review