基于上下文元学习的自动短答案数学评分

自动短答案评分是如何利用基于人工智能（AI）的工具改善教育这一探索中的重要研究方向。当前最先进的方法使用神经语言模型创建学生回答的向量化表示，随后用分类器预测分数。然而，这些方法有几个关键局限，包括 i) 它们使用未良好适配学科教育领域和/或学生生成文本的预训练语言模型；ii) 它们几乎总是为每个问题训练一个模型，忽略了问题间的联系，并由于先进语言模型的规模而导致显著的模型存储问题。在本文中，我们研究学生数学问题回答的自动短答案评分问题，并为此任务提出一种新颖框架。首先，我们使用MathBERT（流行语言模型BERT适配数学内容的变体）作为基础模型，并为其微调以用于学生回答评分的下游任务。其次，我们使用上下文学习方法，将评分示例作为语言模型输入以提供额外上下文信息，并促进对先前未见过问题的泛化。我们在一个真实世界的学生开放式数学问题回答数据集上评估我们的框架，并表明我们的框架（通常显著地）优于现有方法，特别是对于训练期间未见过的新问题。