尖峰模型下条件数损失的最优协方差估计

我们在相对条件数损失 $\kappa(\Sigma^{-1/2} \hat{\Sigma} \Sigma^{-1/2})$ 下研究协方差矩阵估计，其中 $\kappa(\Delta)$ 为矩阵 $\Delta$ 的条件数，$\hat{\Sigma}$ 与 $\Sigma$ 分别为估计协方差矩阵与理论协方差矩阵。在 $\kappa$-损失下的最优性为两个典型应用提供了最优保证：多用户协方差估计与多任务线性判别分析。我们假设 $\Sigma$ 服从所谓的尖峰协方差模型，并利用近期对该模型理解的进展，导出在正交等变过程中渐近最优的非线性收缩器。在我们的渐近研究中，变量数 $p$ 与观测数 $n$ 相当。最优非线性的形式依赖于数据矩阵的纵横比 $\gamma=p/n$ 以及 $\Sigma$ 的最大特征值。对于 $\gamma > 0.618...$，甚至可避免对最大特征值的依赖。该最优收缩器有两个显著性质。第一，当 $p/n \rightarrow \gamma \gg 1$ 较大时，它甚至将非常大的特征值大幅收缩，因子为 $1/(1+\gamma)$。第二，即使对于中等 $\gamma$，某些高度统计显著的特征分量也会被完全抑制。我们表明当 $\gamma \gg 1$ 较大时，纯对角协方差矩阵可以是最优的，尽管最大特征值很大且经验特征值高度统计显著。这与从业者经验一致。我们识别出具有较小最坏情况相对遗憾的直观合理过程——最简单的是广义软阈值化，其在 bulk 边缘处设阈值，且在 bulk 上方斜率为 $(1+\gamma)^{-1}$。对于 $\gamma < 2$，其相对遗憾至多几个百分点。