统计显著性过滤器导致对可重复性的过度自信预期

我们表明，使用统计显著性过滤器发表结果——仅当 p 值小于 0.05 时发表——导致对结果可重复性的过度乐观期望的恶性循环。首先，我们分析表明，当真实统计功效相对较低时，基于统计显著性结果计算功效将导致对功效的高估。然后，我们展示了一个案例研究，使用最近发表在心理语言学中的一篇元分析（Jäger et al., 2017）中提取的 10 个实验比较。我们表明统计显著性结果产生了可重复性的错觉。即使研究者不进行任何正式功效分析，而只是使用统计显著性来非正式评估结果的稳健性（即可重复性），这种错觉仍然存在。