基于RNN注意力模型的知识蒸馏在学生表现早期预测中的应用
机器学习
2024-12-20 v1 计算机与社会
摘要
教育数据挖掘（EDM）是应用计算的一个分支，专注于自动分析来自学习情境中的数据。早期预测以识别高风险学生是EDM研究中关键且广泛研究的话题。它使指导员能够支持高风险学生以保持进度，防止学生退学或失败。以往的研究通过对电子学习平台收集的数据使用机器学习来预测学生的学习表现，以识别高风险学生。但是，大多数研究旨在课程结束后利用整个课程数据来识别高风险学生。这并不符合现实场景，即在课程结束前可能已有学生退学的情况。为了解决这个问题，我们引入一种RNN注意力知识蒸馏（RNN-Attention-KD）框架，用于在课程期间预测高风险学生。它利用循环神经网络（RNN）处理时间序列数据，以预测每个时间步骤中的学生表现，并采用注意力机制聚焦于相关时间步骤以提高预测准确性。同时，应用知识蒸馏压缩时间步骤以促进早期预测。在一次经验评估中，RNN-Attention-KD在召回率和F1值方面优于传统神经网络模型。例如，在四年大学课程数据集中，前3周的召回率和F1值分别为0.49和0.51，前6周的召回率和F1值分别为0.51和0.61。然后，对不同知识传递方法（蒸馏目标）进行消融研究，以探讨其对模型预测性能的贡献。我们发现来自RNN隐藏层的hint损失和来自注意力模块的上下文向量损失可增强模型识别高风险学生的预测性能。这些结果对从事深度学习模型的EDM研究者具有重要意义。
引用
@article{arxiv.2412.14526,
title = {Knowledge Distillation in RNN-Attention Models for Early Prediction of Student Performance},
author = {Sukrit Leelaluk and Cheng Tang and Valdemar Švábenský and Atsushi Shimada},
journal= {arXiv preprint arXiv:2412.14526},
year = {2024}
}
备注
Published in Proceedings of The 40th ACM/SIGAPP Symposium on Applied Computing (SAC '25), see https://doi.org/10.1145/3672608.3707805