LSTM-SAKT：基于 LSTM 编码的类 SAKT Transformer 知识追踪模型
计算与语言
2021-02-11 v2
摘要
本文介绍了在 Kaggle（全球最大的数据科学竞赛网站）上举办的 Riiid! 答题正确性预测竞赛的亚军方案。该竞赛于 2020 年 10 月 16 日至 2021 年 1 月 7 日举行，共有 3395 支队伍和 4387 名参赛者。本文的主要见解与贡献如下。(i) 我们指出基于 Transformer 的现有模型存在一个问题，即其 query/key/value 所能包含的信息有限。为解决该问题，我们提出了一种使用 LSTM 获取 query/key/value 的方法，并验证了其有效性。(ii) 我们指出了“容器间”泄漏问题，该问题出现在题目有时被成组呈现的数据集中。为解决该问题，我们展示了在使用 RNN 变体与 Transformer 时有效的特殊索引/掩码技术。(iii) 我们发现额外的手工特征有助于克服 Transformer 的局限，即其永远无法考虑早于序列长度的样本。
引用
@article{arxiv.2102.00845,
title = {LSTM-SAKT: LSTM-Encoded SAKT-like Transformer for Knowledge Tracing},
author = {Takashi Oya and Shigeo Morishima},
journal= {arXiv preprint arXiv:2102.00845},
year = {2021}
}
备注
4 pages, 3 figures, the paper at AAAI 2021 Workshop on AI Education https://sites.google.com/view/tipce-2021/home