来自教育技术随机评估的学生日志数据：一项因果案例研究

教育技术的随机评估产生日志数据作为副产品：高度细粒度的学生和教师使用数据。这些数据集可阐明因果机制、效应异质性或最优使用。然而存在方法学挑战：实施并非随机化且仅针对处理组定义，且日志数据集具有复杂结构。本文讨论三种有助于克服这些问题的方法。一种方法利用处理组数据在观察性研究中估计使用对结果的影响。另一种因果中介分析估计使用在驱动整体效应中的作用。最后，主分层估计具有相同的“潜在”使用的学生组的整体效应。我们使用这三种方法分析Cognitive Tutor Algebra I课程评估中的提示数据，得到可能冲突的结果：观察性研究和中介分析表明提示降低后测分数，而主分层发现处理效应可能与更高的提示请求率相关。我们讨论这些混合结论并给出更广泛的方法学建议。