多重检验中存在大量一致保守 $p$ 值时的处理及其在教育干预定性交互检验中的应用

在评估处理效应时，了解处理是否对某些人有益而对另一些人有害（即定性交互现象）具有重要的政策意义。我们将这一问题表述为具有许多保守零假设 $p$ 值的多重检验问题，其中经典的多重检验方法可能会大幅降低功效。我们提出了一种简单的技术——条件化——以提高功效。我们需要的一个关键假设是一致保守性，即对于任何保守的 $p$ 值 $p$，当 $p \le \tau$ 时，条件分布 $(p/\tau)\,|\,p \le \tau$ 在随机意义上大于 $(0,1)$ 上的均匀分布（对于任意 $\tau$）。我们证明，该性质适用于一维指数族中的单边检验（例如定性交互检验），以及使用统计量 $X \sim \mathrm{N}(\mu,1)$ 检验 $|\mu|\le\eta$（例如以 $\eta$ 为阈值的实际重要性检验）。我们提出了一种自适应方法来选择阈值 $\tau$。我们的理论与模拟结果表明，当许多 $p$ 值具有一致保守性时，所提出的检验能获得显著的功效提升；而当没有 $p$ 值具有一致保守性时，功效几乎没有损失。我们将该方法应用于两个教育干预数据集。