通过判别式预训练进行知识迁移以预测学业表现

随着智能辅导系统（ITS）受到越来越多的关注，精确估计学生学业表现的需求被强调。然而，由于学业表现标签（如考试分数）是从ITS外部收集的，获取标签成本高昂，导致标签稀缺问题，这给采用机器学习方法进行学业表现预测带来挑战。为此，受近期自然语言处理领域预训练方法进展的启发，我们提出DPA，一种带有判别式预训练任务用于学业表现预测的迁移学习框架。DPA预训练两个模型，一个生成器和一个判别器，并在学业表现预测上微调判别器。在DPA的预训练阶段，向生成器提供一串部分词元被掩码的交互序列，训练其重建原始序列。然后，判别器接收掩码词元被生成器输出替换的交互序列，并训练以预测序列中所有词元的原始性。与先前最先进的生成式预训练方法相比，DPA更具样本效率，可快速收敛到更低的学业表现预测误差。我们在从多平台ITS应用获得的真实数据集上进行了广泛的实验研究，表明DPA以平均绝对误差降低4.05%优于先前最先进的生成式预训练方法，并对增加的标签稀缺更鲁棒。