利用辅助数据提升在线教育平台 A/B 测试分析精度：新数据与新结果

在线学习平台内的随机 A/B 测试代表了学习科学中一个令人振奋的方向。在极小假设下，它们允许无混杂偏倚的因果效应估计，并即使在小样本中也能进行精确统计推断。然而，实验样本和/或处理效应往往较小，A/B 测试功效不足，效应估计过于不精确。近期的方法学进展表明，通过将基于设计的因果估计与来自未参与实验的历史用户的丰富日志数据的机器学习模型相结合，可大幅提升功效与统计精度。使用这些技术的估计在无额外假设下仍保持无偏且推断仍精确。本文回顾这些方法并将其应用于一个新数据集，该集包含于在线学习平台 ASSISTments 中进行的超过 250 项随机 A/B 比较。我们使用四种新颖的辅助数据深度学习模型跨实验比较结果，并显示将辅助数据纳入因果估计相对于 t 检验平均约相当于增加 20% 样本量，某些情况下多达 50-80%，而相对于仅使用实验数据的尖端机器学习无偏估计平均约 10%，多达 30-50%。我们表明，对于子群效应估计增益甚至更大，即使残留样本不能代表 A/B 测试样本时也成立，并延伸至事后分层总体效应估计量。