关于因外部效度有限而导致因果推断失效的概率

在实证研究中，外部效度常常存疑，尤其在随机实验中，由于内部效度与外部效度之间的权衡。要量化外部效度的稳健性，必须首先概念化完全代表目标总体（即理想样本）的样本与观测样本之间的差距。借鉴 Frank & Min (2007) 与 Frank 等人 (2013)，我将此差距定义为未观测样本，并旨在本研究中量化其与零假设统计检验（NHST）的关系。因外部效度有限而导致因果推断失效的概率，即 PEV，是指在基于观测样本已拒绝零假设的前提下，基于理想样本未能拒绝零假设的概率。本研究通过实证例子（即 Borman 等人 (2008)）阐述用 PEV 评估外部效度的指南与步骤。具体而言，能够定位使 PEV 高于期望值的未观测样本统计量的阈值，并利用此信息刻画会使所研究外部效度稳健性降低的未观测样本。当 NHST 被认为基于理想样本时，PEV 被证明与统计功效相关。