通过平方和法分析优化算法
摘要
我们引入了一个新框架，用于统一和系统化无约束凸最小化的一阶黑盒优化算法的性能分析。一阶算法所享有的低代价迭代复杂度使它们在机器学习和大规模数据分析应用中尤为相关。依靠平方和（SOS）优化，我们引入了一个半定程序层次，该层次在更高层次上给出愈来愈好的收敛界。暗示SOS层次的能力，我们展示其（对偶）第一层对应于Drori和Teboulle [Math. Program., 145(1):451--482, 2014]引入的性能估计问题（PEP），这是一个用于确定一阶优化算法收敛速率的有力框架。因此，在PEP框架内获得的许多结果可被重新解释为1次SOS证明，从而SOS框架提供了一种有前景的新方法，通过高阶SOS证书认证改进的收敛速率。为确定解析速率界，在本工作中我们使用SOS层次的第一层，并推导出关于带有不精确线搜索方法（Armijo、Wolfe和Goldstein）的含噪梯度下降的新结果。
引用
@article{arxiv.1906.04648,
title = {Analysis of Optimization Algorithms via Sum-of-Squares},
author = {Sandra S. Y. Tan and Antonios Varvitsiotis and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:1906.04648},
year = {2021}
}
备注
Extended version of a paper presented at the 2019 Signal Processing with Adaptive Sparse Structured Representations (SPARS) workshop; Code for numerically and symbolically verifying the results can be found at https://github.com/sandratsy/SumsOfSquares; v3: added acknowledgments; v4 Accepted to the Journal of Optimization Theory and Applications (JOTA)