一个表明经济理性样本量选择导致不可重复性的简单模型
综合经济学
2020-07-01 v4 系统与控制
系统与控制
经济学
统计方法学
摘要
几项系统性研究表明,已发表的研究中有很大一部分不可重复。低重复性的一个可能原因是样本量不足,导致统计功效低和阳性预测值低。有人认为,样本量选择不足是由科学竞争和“阳性发表偏倚”共同驱动的。本文在一个简单模型中形式化了这一直觉,在该模型中,科学家选择经济理性的样本量,在实验成本与发表收入之间取得平衡。具体而言,假设科学家的收入仅来自“阳性”发现(阳性发表偏倚),且每个样本成本固定,这使得能够利用基本统计公式得出经济最优性预测。我们发现,如果效应具有 i) 低基础概率,ii) 小效应量或 iii) 每次发表的低资助收入,那么理性的(经济最优)样本量就会很小。此外,对于这些参数的合理分布,我们发现获得的统计功效呈现稳健的双峰分布,且总体重复率低,这两者都与经验发现相符。最后,我们探索了条件等价性检验作为使经济激励与充足样本量相一致的一种手段。总体而言,该模型描述了一个简单的机制,解释了小样本量的普遍性和持久性,并且非常适合进行实证验证。它提出经济理性或经济压力是不可重复性的主要驱动因素,并提出了改变这一状况的策略。
引用
@article{arxiv.1908.08702,
title = {A simple model suggesting economically rational sample-size choice drives irreproducibility},
author = {Oliver Braganza},
journal= {arXiv preprint arXiv:1908.08702},
year = {2020}
}