用于近低秩设计高维回归的残差自助法

我们在高维线性回归背景下研究残差自助法（RB）。具体地，我们分析线性对比 $c^{\top} (\hat{\beta}_{\rho}-\beta)$ 的分布近似，其中 $\hat{\beta}_{\rho}$ 是岭回归估计量。当回归系数通过最小二乘估计时，经典结果表明只要 $p\ll n$（设计矩阵大小为 $n\times p$），RB 一致近似对比的分布。迄今为止，相对较少工作考虑线性模型中的额外结构如何将 RB 的有效性扩展到 $p/n\asymp 1$ 的情形。在此情形下，我们提出一种 RB 版本，其对岭回归得到的残差进行重采样。我们对设计矩阵的主要结构假设是它近乎低秩——即其奇异值按幂律轮廓衰减。在若干额外技术假设下，我们推导了确保 RB 一致近似给定对比之分布的一个简单准则。随后我们将该结果专门用于研究均值响应值 $X_i^{\top} \beta$ 的置信区间，其中 $X_i^{\top}$ 是设计的第 $i$ 行。更精确地，我们表明在具有近低秩结构的高斯设计条件下，RB 同时近似所有分布 $X_i^{\top}(\hat{\beta}_{\rho}-\beta)$, $i=1,\dots,n$。该结果还值得注意的是它对 $\beta$ 未施加稀疏性假设。此外，由于我们的一致性结果用 Mallows（Kantorovich）度量表述，因此不需要极限分布的存在。