基于有限样本变形 Wigner 律的 PCA 紧查询复杂度下界

我们证明了近似矩阵前 $r$ 维特征空间的\emph{查询复杂度}下界。我们考虑如下预言机模型：给定对称矩阵 $\mathbf{M} \in \mathbb{R}^{d \times d}$，算法 $\mathsf{Alg}$ 可进行 $\mathsf{T}$ 次精确查询，形式为 $\mathsf{w}^{(i)} = \mathbf{M} \mathsf{v}^{(i)}$（$i \in \{1,...,\mathsf{T}\}$），其中 $\mathsf{v}^{(i)}$ 取自依赖于过往查询与测量 $\{\mathsf{v}^{(j)},\mathsf{w}^{(i)}\}_{1 \le j \le i-1}$ 的任意分布。我们证明对每个 $\mathtt{gap} \in (0,1/2]$，存在矩阵 $\mathbf{M}$ 的分布使得 1) $\mathrm{gap}_r(\mathbf{M}) = \Omega(\mathtt{gap})$（其中 $\mathrm{gap}_r(\mathbf{M})$ 为 $\mathbf{M}$ 的第 $r$ 与第 $r+1$ 大模特征向量间的归一化间隙），且 2) 任何查询次数少于 $\mathrm{const} \times \frac{r \log d}{\sqrt{\mathtt{gap}}}$ 的算法 $\mathsf{Alg}$ 将以压倒性概率无法辨识出具有正交列、满足 $\langle \widehat{\mathsf{V}}, \mathbf{M} \widehat{\mathsf{V}}\rangle \ge (1 - \mathrm{const} \times \mathtt{gap})\sum_{i=1}^r \lambda_i(\mathbf{M})$ 的矩阵 $\widehat{\mathsf{V}} \in \mathbb{R}^{d \times r}$。我们的下界仅要求 $d$ 为 $1/\mathtt{gap}$ 与 $r$ 的小多项式，并与 Musco 和 Musco '15 的上界匹配。此外，它确立了凸优化与以 PCA 为典型代表的\emph{随机化}“严格鞍点”非凸优化之间的严格分离：前者中一阶方法可具有与维度无关的迭代复杂度，而后者中基于梯度的方法的迭代复杂度必然随维度增长。