AdaGrad算法在光滑凸优化中的序列收敛性
最优化与控制
2021-04-14 v3 机器学习
摘要
我们证明了当应用于具有Lipschitz梯度的凸目标函数时，AdaGrad算法的标量步长变体或坐标wise变体所产生的迭代序列是收敛序列。关键洞见是注意到此类AdaGrad序列满足变度量拟Fejér单调性性质，从而得以证明收敛性。
引用
@article{arxiv.2011.12341,
title = {Sequential convergence of AdaGrad algorithm for smooth convex optimization},
author = {Cheik Traoré and Edouard Pauwels},
journal= {arXiv preprint arXiv:2011.12341},
year = {2021}
}
备注
9 pages