从单一环境到多重环境：统计推断的可复现性问题
统计方法学
2020-09-01 v3
摘要
在可复现性失败的可信原因中，有一个尚未受到足够重视的因素，即开展研究的环境。研究环境由总体、设备、人员以及位置、时间、天气等各类条件构成，能够影响处理与结果；而当实验被重做时研究环境发生变化，便会影响可复现性。我们考察此类变化对可复现性失败的贡献程度。我们的框架是：一项生成数据的初始实验，以及一项除研究环境改变外其余做法相同的后续实验。我们假设初始实验满足双样本 t 统计量的假定，且后续实验由一个包含环境参数的混合模型描述。我们推导了研究环境对功效、样本量选择、p 值与置信水平所产生影响的表达式。我们以环境效应比 EER 来度量环境效应的规模，其为环境×处理交互作用与误差的标准差之比。通过改变 EER，可确定有利于或可不利于可复现性的条件。
引用
@article{arxiv.1904.10036,
title = {From one environment to many: The problem of replicability of statistical inferences},
author = {James J. Higgins and Michael J. Higgins and Jinguang Lin},
journal= {arXiv preprint arXiv:1904.10036},
year = {2020}
}