光滑二阶加速优化器统一的 Lyapunov-IQC 框架

我们发展了统一的 Lyapunov-积分二次约束(IQC)框架，用于建立一阶加速优化算法在 $\beta$-光滑和 $\gamma$-强凸情形下的均匀稳定性。经典的均匀稳定性分析（如 Hardt、Recht 和 Singer 关于随机梯度下降(SGD)的工作）依赖于直接的耦合论证和对随机抽样下迭代差异进行案例分析。将此类论证扩展到加速方法（如 Nesterov 加速梯度法）面临来自动量引起的高阶状态动力学的复杂性。我们首先通过使用 Lyapunov 函数扩展这一经典方法，为光滑二次 NAG 提供均匀稳定性界限，并辅以小规模数值实验。随后我们通过将一阶加速优化器建模为 Lur'e 类型反馈互连（在线性动力系统和非线性梯度算子之间），扩展了该框架。$\beta$-光滑性和 $\gamma$-强凸性被编码为一个部门 IQC 不等式。在这种表示下，通过求解形式为可行问题的二次 Lyapunov 函数（以半正定规划 SDP 求解），来认证均匀稳定性。我们为 NAG 实例化该框架，表明经典的均匀稳定性界限可通过该框架恢复。这些结果凸显了优化动力学与鲁尔德控制理论之间的结构联系，为通过可求解的凸优化工具对一阶方法的均匀稳定性和泛化行为进行可靠且可重复的数值认证提供了模块化方法，适用于日益复杂的优化算法。