诊断可观测分布偏移在科学重复实验中的作用
应用统计
2023-09-06 v1 统计方法学
摘要
许多研究者已确认分布偏移是行为与生物医学科学中可重复性危机的一个可能因素。其思想是，如果处理效应随个体特征与实验情境变化，那么在不同群体中开展的研究将估计出不同的平均效应。本文使用“可泛化性”方法来量化原始研究与其重复实验之间的效应量差异中有多少可由单位层面可观测特征上的分布偏移来解释。更具体地，我们将此差异分解为可归因于抽样变异性（包括发表偏倚）、可观测分布偏移与残差因素的“分量”。我们对若干直接重复的 behavioral 科学实验计算了此分解，发现几乎没有证据表明可观测分布偏移对不可重复性有显著贡献。在某些情况下，这是因为统计噪声过大。在其他情况下，有强烈证据表明控制额外的调节变量对于可靠重复是必要的。
引用
@article{arxiv.2309.01056,
title = {Diagnosing the role of observable distribution shift in scientific replications},
author = {Ying Jin and Kevin Guo and Dominik Rothenhäusler},
journal= {arXiv preprint arXiv:2309.01056},
year = {2023}
}