构建一阶方法在二次情形下李雅普诺夫函数的另一种途径
最优化与控制
2024-01-12 v2
摘要
李雅普诺夫函数在分析优化方法的稳定性与收敛性质方面起着基础性作用。本文中，我们提出了一种新颖且直接的方法，用于为应用于二次函数的一阶方法构造李雅普诺夫函数。我们的方法利用舒尔分解将迭代矩阵化为上三角形式，然后考察状态向量最后一个坐标的值。该值在每次迭代中以小于一的倍数减小。因此，只要方法收敛，该值应在每次迭代中下降。我们严格证明了该李雅普诺夫函数对所有一阶方法的适用性，并推导出所提函数单调下降的必要条件。我们还给出了在一般凸函数上的实验，以及对所提方法局限性的研究。值得注意的是，新发现的李雅普诺夫函数形式简单，且不显式依赖于具体方法表述或函数特征（如强凸性或光滑常数）。本质上，单一表达式可作为多种方法（包括 Heavy Ball、Nesterov 加速梯度、Triple Momentum 等）的李雅普诺夫函数。据我们所知，该方法此前未见文献报道。
引用
@article{arxiv.2310.15880,
title = {Another approach to build Lyapunov functions for the first order methods in the quadratic case},
author = {Daniil Merkulov and Ivan Oseledets},
journal= {arXiv preprint arXiv:2310.15880},
year = {2024}
}