使用 $1/\epsilon^{1/3}$ 次矩阵-向量乘法的低秩近似

我们研究基于 Krylov 子空间的迭代方法，用于在任意 Schatten-$p$ 范数下进行低秩近似。在此，给定通过矩阵-向量乘积访问矩阵 $A$、精度参数 $\epsilon$ 和目标秩 $k$，目标是找到一个具有正交列的秩-$k$ 矩阵 $Z$，使得 $\| A(I -ZZ^\top)\|_{S_p} \leq (1+\epsilon)\min_{U^\top U = I_k} \|A(I - U U^\top)\|_{S_p}$，其中 $\|M\|_{S_p}$ 表示 $M$ 的奇异值的 $\ell_p$ 范数。对于 $p=2$（Frobenius 范数）和 $p = \infty$（谱范数）的特殊情况，Musco 和 Musco (NeurIPS 2015) 提出了一种基于 Krylov 方法的算法，使用 $\tilde{O}(k/\sqrt{\epsilon})$ 次矩阵-向量乘积，改进了幂方法可获得的朴素 $\tilde{O}(k/\epsilon)$ 依赖关系，其中 $\tilde{O}$ 抑制了 poly$(\log(dk/\epsilon))$ 因子。我们的主要结果是一种仅使用 $\tilde{O}(kp^{1/6}/\epsilon^{1/3})$ 次矩阵-向量乘积的算法，并且适用于所有 $p \geq 1$。对于 $p = 2$，我们的界限将先前的 $\tilde{O}(k/\epsilon^{1/2})$ 界限改进为 $\tilde{O}(k/\epsilon^{1/3})$。由于当 $p \geq (\log d)/\epsilon$ 时，Schatten-$p$ 范数和 Schatten-$\infty$ 范数在 $(1+ \epsilon)$ 因子内是相同的，因此我们的界限恢复了 Musco 和 Musco 对于 $p = \infty$ 的结果。此外，我们证明了对于任意固定常数 $p \geq 1$ 的矩阵-向量查询下界为 $\Omega(1/\epsilon^{1/3})$，这令人惊讶地表明 $\tilde{\Theta}(1/\epsilon^{1/3})$ 是常数 $k$ 的最优复杂度。为了获得我们的结果，我们引入了几种新技术，包括同时优化多个 Krylov 子空间，以及分块算子的捏缩不等式。我们对于 $p \in [1,2]$ 的下界使用了 Araki-Lieb-Thirring 迹不等式，而对于 $p>2$，我们诉诸于对齐分块算子的范数压缩不等式。