多重检验中何时调整 alpha:析取、合取与个体检验的考量
统计方法学
2021-07-08 v1 统计理论
统计理论
摘要
科学家在进行零假设显著性检验时,常调整其显著性阈值(alpha 水平)以考虑多重检验与多重比较。这种 alpha 调整在科学可重复性危机的背景下变得尤为相关。本文考量了这种 alpha 调整在哪些条件下是适当的,在哪些条件下是不适当的。我们区分了三类多重检验:析取检验、合取检验与个体检验。我们认为,alpha 调整仅适用于析取检验——即至少需有一个检验结果为显著才能拒绝相关的联合零假设。alpha 调整不适用于合取检验——即所有相关结果均须显著才能拒绝联合零假设。alpha 调整也不适用于个体检验——即每个个体结果均须显著才能拒绝各自相关的个体零假设。我们考察了这三类多重检验各自成立的条件。结论是,研究者不应自动(不加思考地)假定多重检验时 alpha 调整是必要的。文中就联合研究层面假设与联合多因素 ANOVA 层面假设给出了相应示例。
引用
@article{arxiv.2107.02947,
title = {When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing},
author = {Mark Rubin},
journal= {arXiv preprint arXiv:2107.02947},
year = {2021}
}
备注
Synthese (2021)