通过前瞻与回顾式设计分析增强心理学研究中的统计推断
统计方法学
2020-01-17 v1 应用统计
摘要
在过去的二十年中,心理科学经历了一场前所未有的可重复性危机,其暴露出若干问题。其中,统计推断太常被视作局限于对已收集数据分析的孤立过程。我们基于并进一步发展了 Gelman 和 Carlin (2014) 提出的称为“前瞻与回顾式设计分析”的思想。全面的设计分析不只是关注结果的统计显著性以及经典的 I 类和 II 类错误控制,还涉及对何种效应量可视为合理的推理。此外,它引入了两个相关的推断风险:夸大比或 M 型错误(即可预期地平均高估呈现统计显著性的效应),以及符号错误 or S 型错误(即统计显著性效应被估计为错误方向的风险)。设计分析的另一个重要方面是,它既可在研究规划阶段也可对已开展的研究评估中有用地实施,从而在整个研究项目的各阶段提升研究者的意识。我们使用心理学中一个熟悉的例子,即研究者有兴趣分析两个独立组间的差异。我们考察了合理效应量被形式化为单一值的情形,并提出了一种通过概率分布将关于效应量大小的不确定形式化的方法。通过若干例子,我们表明尽管设计分析需要很大努力,它却有潜力有助于规划更稳健且可重复的研究。最后讨论了贝叶斯框架下的未来发展。
引用
@article{arxiv.1909.13773,
title = {Enhancing statistical inference in psychological research via prospective and retrospective design analysis},
author = {Gianmarco Altoè and Giulia Bertoldo and Claudio Zandonella Callegher and Enrico Toffalini and Antonio Calcagnì and Livio Finos and Massimiliano Pastore},
journal= {arXiv preprint arXiv:1909.13773},
year = {2020}
}
备注
35 pages, 4 figures, manuscript currently under review