MAMUT：一种用于修改数学公式以生成语言模型训练专用数据集的新框架
计算与语言
2025-07-09 v2 机器学习
摘要
数学公式是各个科学领域中基础且广泛使用的组成部分，是表达复杂概念和关系的通用语言。尽管最先进的 Transformer 模型在处理和理解自然语言方面表现出色，但它们在处理数学符号时遇到了挑战，因为数学符号涉及复杂的结构和多样的表示形式。本研究专注于开发专门的训练数据集，以增强数学内容的编码。我们引入了 Math Mutator (MAMUT)，这是一个能够以 LaTeX 符号生成给定数学公式的等价和伪造版本的框架，有效地捕捉了同一概念在符号上的数学多样性。基于 MAMUT，我们生成了四个包含多样符号的大型数学数据集。实验表明，在这些数据集上训练的模型在数学检索任务中展现出新的 SoTA 性能。我们发布了我们的代码、生成的数据集和预训练数学模型：https://github.com/aieng-lab/math-mutator。
引用
@article{arxiv.2502.20855,
title = {MAMUT: A Novel Framework for Modifying Mathematical Formulas for the Generation of Specialized Datasets for Language Model Training},
author = {Jonathan Drechsel and Anja Reusch and Steffen Herbold},
journal= {arXiv preprint arXiv:2502.20855},
year = {2025}
}