将维基百科数学知识蒸馏至神经网络模型

符号数学的机器学习应用正日益流行，然而缺乏可作为训练数据的集中式真实世界符号表达式来源。相比之下，自然语言处理领域利用如维基百科等提供海量真实世界文本数据的资源。秉持“数学即语言”的理念，我们通过在维基百科中嵌入的数学表达式蒸馏为符号编码以用于下游机器学习任务，弥合了这一鸿沟。我们证明，在此表达式“语料库”上训练的 $\textit{数学}$ $\textit{语言}$ $\textit{模型}$ 可用作先验，以提升神经引导搜索在符号回归任务中的性能。