具有近最优L2增益与$H_\infty$性能的鲁棒稳定加速动量方法
最优化与控制
2023-10-23 v5
摘要
我们考虑最小化强凸光滑函数的问题，其中梯度受到可加性最坏情形确定性误差的干扰，该误差平方可和。我们研究在设计一阶算法参数时收敛速率与对梯度误差鲁棒性之间的权衡。我们关注一类具有恒定步长与动量参数的通用动量方法（GMM），其可恢复梯度下降、Nesterov加速梯度、重球法与三重动量方法作为特例。我们以迭代过程中的累积次优性除以梯度误差的范数来度量算法的鲁棒性，这可解释为代表GMM迭代的变换动力系统的最小（诱导）增益，其中输入为梯度误差序列，输出为到最优解的加权距离。对于二次目标，我们利用其与对应GMM的动力学系统范数的联系显式计算诱导增益，并通过闭式公式构造最坏情形梯度误差序列。我们还通过刻画GMM系统结构化实稳定半径与稳定半径同范数的联系，研究了GMM在各种设置下对乘性噪声的稳定性。这使我们能够比较GD、HB、NAG方法的鲁棒性，并论证尽管HB最快，其鲁棒性却不如NAG……
引用
@article{arxiv.2309.11481,
title = {Robustly Stable Accelerated Momentum Methods With A Near-Optimal L2 Gain and $H_\infty$ Performance},
author = {Mert Gurbuzbalaban},
journal= {arXiv preprint arXiv:2309.11481},
year = {2023}
}