用于知识追踪的末查询 Transformer RNN
计算机与社会
2021-02-11 v1 机器学习
摘要
本文提出一种高效的模型，用于根据学生过往的学习活动预测其答题正确性。基本上，我同时使用 transformer 编码器与 RNN 来处理时间序列输入。该模型的新颖之处在于，在 transformer 编码器中仅使用最后一个输入作为 query，而非整个序列，这使得 transformer 编码器中的 QK 矩阵乘法具有 O(L) 的时间复杂度，而非 O(L^2)。它允许模型输入更长的序列。使用此模型，我在 kaggle 上举办的“Riiid! 答题正确性预测”竞赛中获得了第一名。
引用
@article{arxiv.2102.05038,
title = {Last Query Transformer RNN for knowledge tracing},
author = {SeungKee Jeon},
journal= {arXiv preprint arXiv:2102.05038},
year = {2021}
}
备注
kaggle competition 'Riiid! Answer Correctness Prediction' 1st place solution