基于深度学习的知识追踪模型的可解释性研究
机器学习
2021-01-28 v1 计算机与社会
摘要
知识追踪使智能导学系统能够推断学生已掌握哪些主题或技能，从而相应地调整课程。相较于贝叶斯知识追踪（BKT）和表现因素分析（PFA）等模型，深度学习模型如深度知识追踪（DKT）和动态键值记忆网络（DKVMN）取得了显著改进。然而，这些基于深度学习的模型不如其他模型可解释，因为研究界尚未完全理解深度神经网络学到的决策过程。在先前工作中，我们批判性地考察了 DKT 模型，在高维空间中可视化并分析了 DKT 的行为。在本工作中，我们用大得多的数据集扩展了原有分析，并添加了对 DKVMN 模型记忆状态的讨论。我们发现深度知识追踪存在一些关键缺陷：1）DKT 更倾向于学习一种“能力”模型，而非随时间追踪每项技能；2）DKT 的循环特性强化了其在追踪任务中使用的无关信息；3）未训练的循环网络可达到与训练后 DKT 模型相似的结果，支持循环关系未被正确学习、改进仅是将输入投影到高维稀疏向量空间带来的好处的结论。基于这些观察，我们提出了使用深度神经网络模型开展知识追踪研究的改进方案与未来方向。
引用
@article{arxiv.2101.11335,
title = {On the Interpretability of Deep Learning Based Models for Knowledge Tracing},
author = {Xinyi Ding and Eric C. Larson},
journal= {arXiv preprint arXiv:2101.11335},
year = {2021}
}