基于梯度下降的 $k$-SVD 方法

现代迭代优化计算基础设施的出现，引发了人们对开发基于优化的方法以实现 $k$-SVD 可扩展计算的极大兴趣，即计算一个秩为 $d \geq 1$ 的矩阵的 $k\geq 1$ 个最大奇异值及其对应向量。尽管近期有许多令人兴奋的研究，但所有先前的工作在这一目标上均有所欠缺。具体而言，现有结果要么针对精确参数化（即 $k = d$）和过参数化（即 $k > d$）的设置，要么仅建立局部收敛保证，要么使用的步长需要特定问题实例的神谕提供信息。在这项工作中，我们通过提供一种具有简单、通用的步长选择规则（类似于预处理）的梯度下降方法，完成了这一目标，该方法可证明能为任何秩 $d \geq 1$ 的矩阵找到 $k$-SVD。我们证明，对于任意 $k, d \geq 1$，采用随机初始化的梯度方法具有全局线性收敛性。我们的收敛分析揭示，该梯度方法存在一个吸引区域，并且在此吸引区域内，该方法的行为类似于 Heron 方法（亦称巴比伦方法）。我们关于该吸引区域的分析结果表明，可以通过 Nesterov 的基于动量的加速技术来增强梯度方法。由此产生的改进收敛速率可与那些通常依赖 Lanczos 迭代或其变体的相当复杂的方法相媲美。我们提供了一项实证研究来验证理论结果。