MathBERT：一种用于数学公式理解的预训练模型
计算与语言
2021-05-04 v1 人工智能
摘要
像 BERT 这样的大规模预训练模型在各种自然语言处理（NLP）任务中取得了巨大成功，但将其适配到数学相关任务仍具挑战。当前的预训练模型忽视了公式与其上下文之间的结构特征及语义对应关系。为解决这些问题，我们提出了一种新颖的预训练模型，即 \textbf{MathBERT}，其将数学公式与对应上下文联合训练。此外，为进一步捕获公式的语义级结构特征，设计了一种新的预训练任务来预测从算子树（OPT，公式的语义结构表示）中提取的掩码公式子结构。我们在三个下游任务上进行了各种实验以评估 MathBERT 的性能，包括数学信息检索、公式主题分类和公式标题生成。实验结果表明 MathBERT 在所有这三个任务上均显著优于现有方法。此外，我们定性地展示了该预训练模型有效捕获了公式的语义级结构信息。据我们所知，MathBERT 是首个用于数学公式理解的预训练模型。
引用
@article{arxiv.2105.00377,
title = {MathBERT: A Pre-Trained Model for Mathematical Formula Understanding},
author = {Shuai Peng and Ke Yuan and Liangcai Gao and Zhi Tang},
journal= {arXiv preprint arXiv:2105.00377},
year = {2021}
}