预训练语言模型亦是符号数学求解器！

求解符号数学一直属于需要组合推理和递归的人类智慧领域。然而，近期研究表明，诸如 transformer 的大规模语言模型是通用的，并且令人惊讶地可以作为序列到序列任务训练以求解复杂数学方程。这些大型 transformer 模型需要海量训练数据才能泛化到未见过的符号数学问题。在本文中，我们提出了一种样本高效的符号任务求解方法：先用语言翻译预训练 transformer 模型，然后微调该预训练模型以求解符号数学的下游任务。我们在积分任务上以比最先进深度学习符号数学少约 $1.5$ 个数量级训练样本的情况下，用预训练模型取得了可比的精度。微分方程任务的测试精度相较积分明显更低，因为它们需要语言翻译中不存在的高阶递归。我们从安娜·卡列尼娜原则（AKP）提出预训练语言模型的泛化性。我们用不同的语言翻译对预训练模型。我们的结果显示了在求解符号数学任务中的语言偏置。最后，我们研究了微调模型在符号数学任务上针对分布偏移的鲁棒性，并且我们的方法在函数积分的分布偏移场景中泛化更好。