论单向量 Krylov 方法在低秩近似中出乎意料的有效性

Krylov 子空间方法是计算大矩阵近最优秩 $k$ 近似的普遍工具。虽然块大小至少为 $k$ 的“大块”Krylov 方法给出了已知最好的理论保证，但在实践中通常偏好块大小为一（单向量）或小的常数。尽管它们很流行，我们缺乏关于此类“小块”Krylov 方法用于低秩近似性能的理论界。我们通过证明小块 Krylov 方法本质上匹配大块方法所有已知的低秩近似保证，来弥合这一理论与实践之间的差距。通过一个黑盒归约，我们表明，例如，标准单向量 Krylov 方法运行 $t$ 次迭代获得的谱范数和 Frobenius 范数误差界，与块大小 $\ell \geq k$ 的 Krylov 方法运行 $O(t/\ell)$ 次迭代相同，直至对连续奇异值之间最小间隔的对数依赖。也就是说，对于给定的矩阵-向量乘积次数，单向量方法本质上与任意大块大小的选择一样有效。通过将我们的结果与随机矩阵中特征值间隔的尾部界相结合，我们证明如果输入矩阵被一个小的随机矩阵扰动，则对最小奇异值间隔的依赖可以被消除。此外，我们表明单向量方法匹配 [Bakshi et al. `22] 的更复杂算法，该算法结合多个块大小的结果以实现改进的 Schatten $p$-范数低秩近似。