不一致的多重检验校正：使用族错误率对个体假设进行推断的谬误
统计方法学
2024-04-04 v3
摘要
在多重检验期间，研究人员经常调整其 alpha 水平以控制族错误率，从而对联合并集备择假设（例如“H1,1 或 H1,2”）进行统计推断。然而，在某些情况下，他们并不进行此推断。相反，他们对组成联合假设的每个个体假设（例如 H1,1 和 H1,2）分别进行推断。例如，研究人员可能会使用 Bonferroni 校正在检验 H1,1 和 H1,2 时将其 alpha 水平从常规的 0.050 调整为 0.025，发现 H1,1 的显著结果（p < 0.025）而 H1,2 不显著（p > 0.025），从而声称支持 H1,1 而不支持 H1,2。然而，这些独立的个体推断不需要进行 alpha 调整。只有对并集备择假设“H1,1 或 H1,2”的统计推断才需要调整 alpha 水平，因为它是基于两次检验中“至少一个”显著结果，因此涉及族错误率。因此，当研究人员在多重检验期间校正其 alpha 水平但未对并集备择假设进行推断时，就会出现不一致的校正。在本文中，我讨论了这种不一致校正问题，包括它对个体假设检验统计功效的降低，以及其相对于错误率混淆和 alpha 调整惯例的潜在原因。我还提供了近期心理学研究中不一致校正的三个实例。我得出结论，不一致校正是统计主义的症状，并呼吁采用更细致的基于推断的多重检验校正方法。
引用
@article{arxiv.2401.11507,
title = {Inconistent multiple testing corrections: The fallacy of using family-based error rates to make inferences about individual hypotheses},
author = {Mark Rubin},
journal= {arXiv preprint arXiv:2401.11507},
year = {2024}
}