协变量辅助变量排序

考虑线性模型 $y = X \beta + z$, $z \sim N(0, \sigma^2 I_n)$。Gram 矩阵 $\Theta = \frac{1}{n} X'X$ 是非稀疏的，但它近似为两个分量之和：一个低秩矩阵和一个稀疏矩阵，其中两个分量均未知。我们关注稀有/弱信号（Rare/Weak signal）设定，即 $\beta$ 中除一小部分外均为零，且非零项各自相对较小。目标是以最大化 ROC 曲线下面积的方式对变量进行排序。我们提出因子调整协变量辅助排序（Factor-adjusted Covariate Assisted Ranking, FA-CAR）作为一种两步变量排序方法。在 FA 步骤中，我们使用主成分分析（PCA）将线性模型约简为一个 Gram 矩阵近似稀疏的新模型。在 CAR 步骤中，我们利用局部协变量结构对变量进行排序。FA-CAR 易于使用且计算快速，并能有效解决回归模型中面临的信号抵消这一挑战。FA-CAR 与近期提出的协变量辅助筛选与估计（Covariate Assisted Screening and Estimation, CASE）思想相关，但两种方法目标不同，因而差异很大。我们通过数值实验比较了 FA-CAR 与其他一些排序方法的 ROC 曲线，并展示了 FA-CAR 的若干优势。利用稀有/弱信号模型，我们推导了 FA-CAR 最小确保筛选模型规模的收敛速率。我们的理论分析包含若干新要素，尤其是 PCA 的一个新扰动界。