通过监督预训练与重要性机制微调改进低资源知识追踪任务

知识追踪 (KT) 旨在根据学生的历史交互估计其知识掌握程度。最近，基于深度学习的 KT (DLKT) 方法在 KT 任务中取得了令人印象深刻的性能。这些 DLKT 模型严重依赖大量可用的学生交互数据。然而，由于预算限制和隐私担忧等各种原因，在许多现实场景中观察到的交互非常有限，即低资源 KT 数据集。直接在低资源 KT 数据集上训练 DLKT 模型可能导致过拟合，且难以选择合适的深度神经网络架构。因此，本文提出了一种名为 LoReKT 的低资源 KT 框架以应对上述挑战。受流行的“预训练与微调”范式启发，我们旨在在预训练阶段从资源丰富型 KT 数据集中学习可迁移的参数和表示，随后促进对低资源 KT 数据集的有效适配。具体而言，我们仅使用一堆 transformer 解码器简化了现有的复杂 DLKT 模型架构。我们设计了一种编码机制以整合来自多个 KT 数据源的学生交互，并开发了一种重要性机制，以便在微调阶段优先更新高重要性参数，同时约束较不重要的参数。我们在六个公开 KT 数据集上评估了 LoReKT，实验结果证明了我们的方法在 AUC 和准确率方面的优越性。为鼓励可复现研究，我们将数据和代码公开在 https://github.com/rattlesnakey/LoReKT。