如何判断结果能否复现：分布零假设检验中的显著性与复现性

零假设显著性检验存在一个众所周知的问题：许多统计显著的结果在后续实验中无法复现。我们指出，该问题源于标准的“点形式零”显著性检验只考虑实验内变异而忽略实验间变异，从而系统性低估了结果中的随机变异程度。我们给出了标准显著性检验的一个扩展，通过分析实验内与实验间变异来解决此问题。这种“分布零”方法不会低估实验变异性，因此在判定显著性时不过度自信；由于该方法处理了实验间变异，它给出了显著结果复现概率的数学上连贯的估计。利用大规模复现数据集（首个“Many Labs”项目），我们表明许多在标准检验中看似统计显著的结果，在同时考虑实验内与实验间变异时事实上与随机变异一致。进一步，将该数据集中的实验分组为“预测-目标”对，我们表明该方法所产生的目标实验的预测复现概率（给定预测实验结果及两实验的样本量）与观测复现率强相关。因此，分布零假设检验为研究者提供了一种统计工具，用于识别统计显著且可靠可复现的结果。