通过对比预训练实现对数学问题的整体理解

有效理解数学问题是一项关键任务，可惠及诸多应用，如难度估计。由于人工标注（例如标注难度）的稀缺，研究者已广泛关注设计用于问题表示的预训练模型。然而，不同于一般自由格式文本（如用户评论），数学问题通常带有明确目的与数学逻辑而设计，且常由更复杂的内容构成，例如公式以及相关的数学知识（如函数）。因此，对数学问题进行整体表示的问题仍待充分探索。为此，本文提出一种用于数学问题表示的新型对比预训练方法，即 QuesCo，其试图使具有更相似目的的问题彼此靠近。具体地，我们首先设计两级问题增强，包括内容级与结构级，以生成字面多样但目的相似的问题对。接着，为充分挖掘知识概念的分层信息，我们提出知识层次感知排序策略（KHAR），以细粒度方式对问题间相似性进行排序。随后，我们采用排序对比学习任务，基于增强与排序后的问题优化模型。我们在两个真实世界数学数据集上进行了大量实验，实验结果证明了模型的有效性。