何时才能信赖早期预警？基于 LMS 交互日志的泄漏排除早期结果预测
人工智能
2026-05-26 v1
摘要
基于学习管理系统（LMS）日志构建的早期预警模型旨在在 learner 能够及时获得支持之前预测课程结束后的结果。然而，报告的“早期”性能往往因时间泄漏而被高估。这发生在管道使用尚未在预测时点可用的信息时。我们在时间可用性约束下形式化了基于截止点的早期结果预测，提出 LEAP（Leakage-Excluded Early-Availability Protocol），该协议在连接和聚合之前强制执行截止点优先截断，并审计特征来源以防止后截止证据进入基准。我们在公开的 Open University Learning Analytics Dataset（OULAD）上实例化 LEAP，作为跨周 cutoff 的泄漏控制评估的多步骤协议。使用多种标准学习方法，我们采用 ROC-AUC、PR-AUC、Brier score 和 [email protected] 评估性能。结果表明，随着观察窗口的扩大，性能不断提高，约在第 3 周左右获得显著提升；在最早的 cutoff 上，随机森林性能最佳，而在后期，梯度提升方法表现更好。泄漏消除实验进一步表明，尤其是通过评估信息，时间违规会导致 apparent“早期”性能被高估。
引用
@article{arxiv.2605.25794,
title = {When Can We Trust Early Warnings? Leakage-Excluded Early Outcome Prediction from LMS Interaction Logs},
author = {Ngoc Luyen Le and Marie-Hélène Abel and Bertrand Laforge},
journal= {arXiv preprint arXiv:2605.25794},
year = {2026}
}