事后选择α值：多重显著性阈值的危险
应用统计
2025-03-11 v2 统计方法学
摘要
经典假设检验的基本假设之一是显著性阈值α（alpha）是独立于数据选择的。置信区间的有效性同样依赖于事先选择α。我们指出，由于在大多数领域中存在一种标准α值（通常为0.05），所有人都会使用该阈值，因此α在实践中自动与数据独立。然而，近年来有呼吁将α从0.05降低到0.005的趋势。我们指出，这可能导致一个科学领域内存在多个被接受的标准阈值。例如，不同期刊可能要求不同的显著性阈值。作为结果，一些研究者可能会倾向于根据其p值便利地选择自己的α值。我们通过实例说明这严重破坏了假设检验的有效性，并提及一些潜在解决方案。
引用
@article{arxiv.2410.02306,
title = {Choosing alpha post hoc: the danger of multiple standard significance thresholds},
author = {Jesse Hemerik and Nick W Koning},
journal= {arXiv preprint arXiv:2410.02306},
year = {2025}
}
备注
Accepted for publication in Statistical Science