Sketch-and-Project 遇上牛顿法：低秩更新的全局 $\mathcal O(k^{-2})$ 收敛

Slavomír Hanzely

Sketch-and-Project 遇上牛顿法：低秩更新的全局 $\mathcal O(k^{-2})$ 收敛

最优化与控制 2024-05-28 v4 机器学习

作者: Slavomír Hanzely

摘要

本文提出首个针对自和谐函数具有快速 $\mathcal O(k^{-2})$ 全局收敛率的 sketch-and-project 牛顿法。我们的方法 SGN 可从三方面看待：i) 作为投影牛顿法更新的 sketch-and-project 算法，ii) 作为草图子空间中的三次正则牛顿法，iii) 作为草图子空间中的阻尼牛顿法。SGN 兼具三者优势：sketch-and-project 方法的廉价迭代代价、满秩类牛顿法最先进的 $\mathcal O(k^{-2})$ 全局收敛率，以及阻尼牛顿法的算法简洁性。最后，我们展示了其与基线算法相当的经验性能。

关键词

sketch-and-project 牛顿法全局收敛自和谐函数低秩更新优化

引用

@article{arxiv.2305.13082,
  title  = {Sketch-and-Project Meets Newton Method: Global $\mathcal O(k^{-2})$ Convergence with Low-Rank Updates},
  author = {Slavomír Hanzely},
  journal= {arXiv preprint arXiv:2305.13082},
  year   = {2024}
}

备注

10 pages

Sketch-and-Project 遇上牛顿法：低秩更新的全局 $\mathcal O(k^{-2})$ 收敛

摘要

关键词

引用

备注

相关论文