中文

为何归一化增益(ngain)应继续用于分析概念清单(以及估计学习率)——另一个原因

应用统计 2024-07-11 v1

摘要

一种称为归一化增益(normalized gain, ngain)的变换被认可为物理教育研究中预后测试(pretest-posttest)情境下知识增长最常用的衡量标准之一。近期在数学教育中的研究表明,ngain 也可用于评估学习者获取陌生知识的能力,即估计其“学习率”。该学习率通过两种已知方法从学习数据中估计:计算该组的平均 ngain 或计算平均学习者的 ngain。这两种方法常常得出不同结果,先前的研究得出结论认为,两者之间的差异与预测试-ngain 相关性相关联。这种相关性暗示了这种学习测量存在偏差,因为它暗示了对某些学生子群(subgroup)的偏好,这些学生在预测试测量中表现不同。本研究通过引用统计模型来分析这两种估计方法。我们的结果表明,在不存在测量误差时,这两种估计方法是等价的。相反,在存在测量误差时,第一种方法提供了偏差估计量(biased estimator),而第二种方法则提供了无偏估计量(unbiased estimator)。此外,这些测量误差会引起预测试与 ngain 分数的虚假相关性。我们的结果似乎与先前的研究一致,除了我们指出,预测试和后测试分数的测量误差是导致虚假预测试-ngain 相关性的来源。因此,估计学习率可能即使在存在预测试-ngain 相关性的情况下,也能有效地提供对知识变化的无偏估计,这些估计控制了先前知识的影响。

引用

@article{arxiv.2407.07730,
  title  = {Another reason why normalized gain should continue to be used to analyze concept inventories (and estimate learning rates)},
  author = {Jairo Navarrete and Valentina Giaconi and Gonzalo Contador and Mariano Vazquez},
  journal= {arXiv preprint arXiv:2407.07730},
  year   = {2024}
}