一阶方法的频域表示：一种简单且鲁棒的分析框架
最优化与控制
2021-11-09 v2
摘要
受近期极小极大优化应用的启发，我们采用非线性控制理论中的工具来分析一类“历史”梯度方法，该类方法的下一步位于先前在时间窗内观察到的梯度的张成空间内。具体而言，我们利用 Hu 和 Lessard (2017) 开发的技术构建了一个频域框架，将此类方法的分析转化为数值可解的代数任务，并在一类强单调且共强制算子下建立了线性收敛性。在应用方面，我们关注乐观梯度下降（OGD）方法，该方法在优化步骤中通过加入一个额外的过去梯度来增强标准梯度下降。所提出的框架对 OGD 及其推广在更广泛的参数范围内提供了简单而敏锐的分析。值得注意的是，该刻画在梯度观测值存在对抗性噪声时直接适用。此外，我们的频域框架对 OGD 的同步更新与交替更新提供了精确的定量比较。一个有趣的副产品是，OGD 及其变体是 PID 控制的一个实例，而 PID 控制可以说是上个世纪最具影响力的算法之一；这一观察为“乐观”的稳定性质提供了更多启示。
引用
@article{arxiv.2109.04603,
title = {Frequency-Domain Representation of First-Order Methods: A Simple and Robust Framework of Analysis},
author = {Ioannis Anagnostides and Ioannis Panageas},
journal= {arXiv preprint arXiv:2109.04603},
year = {2021}
}