发现是虚假的吗？最大伪相关的分布及其应用

在过去的二十年中，许多令人瞩目的变量选择方法被开发出来，用于从大量候选变量中找出与响应变量相关的一小组协变量。这些数据挖掘方法的发现是否会因高维度和有限样本量而变成虚假的？我们对此类变量选择所需的协变量外生性的基本假设能否用数据验证？为了回答这些问题，我们需要推导给定一定数量预测变量时的最大伪相关分布，即响应变量 $Y$ 与 $p$ 个协变量 $\mathbf{X}$ 的最佳 $s$ 个线性组合的相关性的分布，即使 $\mathbf{X}$ 与 $Y$ 独立也是如此。当 $\mathbf{X}$ 的协方差矩阵具有受限特征值性质时，我们利用高斯近似和经验过程技术，推导了有限 $s$ 和发散 $s$ 下的此类分布。然而，该分布依赖于 $\mathbf{X}$ 的未知协方差矩阵。因此，我们使用乘子自助法程序来近似未知分布，并确立这种简单自助法的一致性。结果进一步扩展到残差来自正则化拟合的情况。我们的方法随后被用于构建最大伪相关的置信上限，并检验协变量的外生性。前者为防范错误发现提供了基线，后者检验我们高维模型选择的基本假设在统计上是否有效。我们的技术和结果通过数值例子和真实数据分析进行了说明。