为何“重新定义统计显著性”无助于改善可重复性且可能加剧复制危机
应用统计
2017-11-22 v1 统计方法学
其他统计学
摘要
最近一项“重新定义统计显著性”的提议（Benjamin 等，Nature Human Behaviour，2017）声称，仅将“统计显著性”的常规临界值从 P<0.05 改为 P<0.005，假阳性率就会立即提高两倍以上，且复制率会翻倍。我分析了这些说法的真实性，尤其关注 Benjamin 等人在评估其提议影响时如何忽视了 P-hacking（P值操纵）的效应。我的分析表明，一旦将 P-hacking 考虑在内，较低阈值所带来的感知益处几乎消失，由此得出两个主要结论：(i) Benjamin 等人（2017）所声称的假阳性率和复制率的改善被夸大且具有误导性。(ii) 在某些看似合理的情形下，较低的临界值会使复制危机恶化。
引用
@article{arxiv.1711.07801,
title = {Why "Redefining Statistical Significance" Will Not Improve Reproducibility and Could Make the Replication Crisis Worse},
author = {Harry Crane},
journal= {arXiv preprint arXiv:1711.07801},
year = {2017}
}
备注
16 pages