WarriorMath：面向大语言模型数学能力的缺陷感知框架
计算与语言
2025-08-05 v1
摘要
大型语言模型（LLM）在解决数学问题方面表现出色，但由于高质量、多样化训练数据的匮乏，性能常受限。现有方法通过重述或难度递进来扩充数据集，却忽视了LLM的特定失效模式，导致合成问题模型已经能够解决，难以带来实际性能提升。为此，我们提出WarriorMath——一种面向数学问题解答的缺陷感知框架，集成了精准数据合成与渐进式训练。数据合成阶段，我们采用多位专家LLM协合式生成、批判并优化问题。通过识别基线LLM未能解决的问题，并在专家级反馈下迭代改进，产生高质量的缺陷感知训练数据。在训练阶段，我们引入渐进学习框架，针对模型薄弱环节进行逐步微调。六项数学基准实验表明，WarriorMath相较于强大基线平均提升12.57%，刷新国际前沿。我们的研究证明了缺陷感知、多专家框架在提升数学能力方面的有效性。
引用
@article{arxiv.2508.01245,
title = {WarriorMath: Enhancing the Mathematical Ability of Large Language Models with a Defect-aware Framework},
author = {Yue Chen and Minghua He and Fangkai Yang and Pu Zhao and Lu Wang and Yu Kang and Yifei Dong and Yuefeng Zhan and Hao Sun and Qingwei Lin and Saravan Rajmohan and Dongmei Zhang},
journal= {arXiv preprint arXiv:2508.01245},
year = {2025}
}