面向知识追踪的查询、键与值计算的恰当设计

知识追踪是通过学习活动对学生知识进行建模的行为，是计算机辅助教育领域中被广泛研究的问题。尽管带有注意力机制的模型已经优于贝叶斯知识追踪和协同过滤等传统方法，它们仍存在两个局限。首先，这些模型依赖浅层注意力层，无法捕捉练习与响应随时间变化的复杂关系。其次，用于知识追踪的自注意力层中查询、键和值的不同组合未被充分探索。通常将练习和交互（练习-响应对）分别作为查询和键/值的做法缺乏实证支持。本文中，我们提出了一种基于Transformer的新型知识追踪模型，SAINT：分离式自注意力神经知识追踪（Separated Self-AttentIve Neural Knowledge Tracing）。SAINT具有编码器-解码器结构，其中练习和响应嵌入序列分别单独进入编码器和解码器，从而允许堆叠多层注意力层。据我们所知，这是首个为知识追踪提出编码器-解码器模型并将深度自注意力层分别应用于练习和响应的工作。在大规模知识追踪数据集上的实证评估表明，SAINT取得了知识追踪的SOTA性能，与当前SOTA模型相比AUC提升了1.8%。