主成分回归中所需使用变量个数的研究

我们研究在按方差递减顺序选取的 $N$ 个不相关高斯特征上的最小二乘线性回归。当所选特征数 $p$ 不超过样本量 $n$ 时，所考虑的估计量与主成分回归估计量一致；当 $p>n$ 时，该估计量为所选特征上的最小 $\ell_2$ 范数解。我们对样本外预测误差给出平均情形分析，其中 $p,n,N \to \infty$ 且 $p/N \to \alpha$、$n/N \to \beta$，对某些常数 $\alpha \in [0,1]$ 与 $\beta \in (0,1)$。在此平均情形下，预测误差作为 $p$ 的函数呈现“双下降”形状。我们还建立了在插值（$p>n$） regime 中达到最小风险的充分条件。