p-Hacking 在误差统计方法中导致显著性水平 I 误差膨胀，但在形式推断方法中不导致此现象
其他统计学
2026-05-22 v3
摘要
p-hacking 指的是研究者进行多次显著性检验（例如 p1;H0,1 和 p2;H0,2），然后选择性地报告那些产生理想结果（例如 p2 < 0.05;H0,2）的检验，而不进行多重检验校正（例如 0.05/2 = 0.025）。本文在两个显著性检验哲学——误差统计方法和形式推断方法的背景下考虑 p-hacking。我认为尽管 p-hacking 在误差统计方法中导致显著性水平 I 误差膨胀，但在形式推断方法中则不会导致此现象。具体而言，在误差统计方法中，“实际”整体误差率（例如对于两个独立检验为 1 - [1 - 0.05]^2 = 0.098）是相关的，因为它涵盖了报告的和未报告的检验（即 p1;H0,1 和 p2;H0,2）。在此方法中，显著性水平 I 误差膨胀是由于“实际”误差率 (0.098) 高于名义误差率 (0.05)。相比之下，在形式推断方法中，“实际”整体误差率是无关的，因为 (a) 研究者并未关于相应的交互 null 假设（即 H0,1 & H0,2）进行统计推断，和 (b) “实际”整体误差率不允许针对报告的单个假设（即 H0,2）进行推断。相反，在形式推断方法中，仅与名义误差率相关，与“实际”误差率的比较是不恰当的。讨论了关于概念化、展示和减少 p-hacking 的影响。
引用
@article{arxiv.2602.21792,
title = {p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach},
author = {Mark Rubin},
journal= {arXiv preprint arXiv:2602.21792},
year = {2026}
}