LazySVD：更快的 SVD 分解且无需痛苦

我们研究 $k$-SVD，即获取矩阵 $A$ 的前 $k$ 个奇异向量。近期，关于 $k$-SVD 取得了一些突破：Musco 和 Musco [1] 使用块 Krylov 方法证明了首个无间隙收敛结果；Shamir [2] 发现了首个方差缩减随机方法；Bhojanapalli 等人 [3] 使用交替最小化提供了最快的 $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$ 时间算法。在本文中，我们提出了一个全新且简单的 LazySVD 框架来改进上述突破。该框架产生了一种优于 [1] 的更快的无间隙方法，以及一种优于 [2] 的首个加速随机方法。在 $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$ 运行时间机制下，LazySVD 在某些参数机制下优于 [3]，甚至无需使用交替最小化。