高效加速坐标下降法及求解线性系统的更快算法

本文展示了如何加速随机坐标下降法，在不增加渐近运行时间中每次迭代成本的情况下实现更快的收敛速率。具体而言，我们展示了如何推广并高效实现 Nesterov 提出的一种方法，从而为各种将标准坐标下降法作为黑盒使用的算法提供更快的渐近运行时间。除了为这种新的通用方法提供收敛性证明外，我们还表明它在数值上是稳定的、可高效实现的，并且在某些机制下是渐近最优的。为了突显该算法的计算能力，我们展示了如何利用它在多种机制下构建更快的线性系统求解器：- 我们展示了该方法在求解一大类对称正定方程组时，如何实现比共轭梯度法更快的渐近运行时间。- 通过加速 Strohmer 和 Vershynin 提出的随机算法，我们改进了 Kaczmarz 方法（一种用于图像重建和求解超定方程组的流行技术）的最佳已知渐近收敛保证。- 我们在单位成本 RAM 模型中实现了对称对角占优 (SDD) 方程组求解的最佳已知运行时间，通过加速 Kelner 等人最近提出的求解器，获得了 $O(m \log^{3/2} n (\log \log n)^{1/2} \log (\log n / \epsilon))$ 的渐近运行时间。除了这些求解器本身的独立意义外，我们相信它们突显了本文方法的通用性，并希望它们能为未来的算法改进打开大门。