中文

ReverseMath:基于答案逆转的数学问题生成方法

计算与语言 2026-05-28 v1

摘要

数学推理基准对大型语言模型(LLM)至关重要,但许多基准是静态的,经过公开的评估和训练管道反复暴露,使得很难分离出真正的推理与记忆。同时,手动构建具有可靠答案的新数学问题仍然昂贵。我们引入ReverseMath,通过答案逆转生成新数学问题的可扩展方法。给定问题及其答案,ReverseMath屏蔽原问题中的一个数值,将原答案作为已知条件重写问题,使得被屏蔽的数值成为新问题的答案。生成的问题反转了原始的输入-输出关系,因而其答案由构造方式保证。我们研究ReverseMath在评估和训练中的应用。对于评估,配对的原问题/逆转问题揭示了显著的行为变化:模型有时在逆转问题上失败,甚至错误地输出原答案,这表明存在类似记忆的行为。对于训练,ReverseMath提供的自动标注逆转问题作为数据增强可用于强化学习(RL)。实验表明,包含ReverseMath生成的数据能在多个基准上提升数学推理性能,证明其作为分析工具和可扩展可验证训练数据来源的价值。

关键词

引用

@article{arxiv.2605.27709,
  title  = {ReverseMath: Answer Inversion for Scalable and Verifiable Mathematical Problem Generation},
  author = {Raoyuan Zhao and Yihong Liu and Yupei Du and Hinrich Schütze and Michael A. Hedderich},
  journal= {arXiv preprint arXiv:2605.27709},
  year   = {2026}
}