面向遗忘感知的注意力知识追踪线性偏置
人工智能
2023-09-27 v1
摘要
知识追踪（KT）旨在基于答题历史追踪掌握程度，从而使我们能够提供精简的课程。近期研究积极利用基于注意力的机制来捕捉问题间的相关性，并将其与学习者的特征结合以预测作答情况。然而，我们的实证研究表明，现有的基于注意力的 KT 模型忽视了学习者的遗忘行为，尤其是当交互历史变长时。该问题源于一种偏置，即过度优先考虑问题相关性，同时无意中忽略了遗忘行为的影响。本文提出了一种简单而有效的解决方案，即遗忘感知线性偏置（FoLiBi），将遗忘行为作为线性偏置来反映。尽管简单，FoLiBi 通过有效地将问题相关性与遗忘行为分解，可轻松装备现有的注意力 KT 模型。在四个基准数据集上，FoLiBi 接入若干 KT 模型后，相较最先进的 KT 模型在 AUC 上取得最高 2.58% 的一致提升。
引用
@article{arxiv.2309.14796,
title = {Forgetting-aware Linear Bias for Attentive Knowledge Tracing},
author = {Yoonjin Im and Eunseong Choi and Heejin Kook and Jongwuk Lee},
journal= {arXiv preprint arXiv:2309.14796},
year = {2023}
}
备注
In Proceedings of the 32nd ACM International Conference on Information and Knowledge Management (CIKM'23), 5 pages, 3 figures, 2 tables