半圆极限下的最优特征值收缩

现代数据集正趋向越来越高的维度。作为回应，近期协方差估计的理论研究常采用比例增长渐近框架，其中样本量 $n$ 与维度 $p$ 相当，且 $n, p \rightarrow \infty$ 与 $\gamma_n = p/n \rightarrow \gamma > 0$。然而，许多数据集——或许大多数——具有差异很大的行数与列数。我们转而考虑非比例增长渐近框架，其中 $n, p \rightarrow \infty$ 且 $\gamma_n \rightarrow 0$ 或 $\gamma_n \rightarrow \infty$。任一非比例极限都会引发先前比例与固定-$p$ 分析中未见过的新现象。我们研究尖峰协方差模型，其理论协方差是单位阵的低秩扰动。对于 15 种不同的损失函数，我们以闭式给出新的最优收缩与阈值规则。我们的最优过程需要大量的特征值收缩，并相较标准经验协方差估计器提供了显著的性能收益。实践者可能会问，应将他们的数据视为源于（并应用）比例框架还是非比例框架的程序。便利的是，可以保持{\it 框架不可知}：一组统一的闭式收缩规则（仅取决于给定数据的纵横比 $\gamma_n$）在任一框架下均提供完全的渐近最优性。我们所探索现象的核心在于尖峰 Wigner 模型，其中低秩矩阵被对称噪声扰动。利用其与尖峰协方差模型在 $\gamma_n \rightarrow 0$ 时的联系，我们推导了用于估计低秩分量的最优特征值收缩规则，这具有独立且基础的意义。