统一 Nesterov 加速梯度方法用于凸与强凸目标函数：从连续时间动力学到离散时间算法

尽管 Nesterov 加速梯度 (NAG) 方法已从多种视角被研究，但为何最流行的 NAG 形式必须分别处理凸与强凸目标函数仍不清楚。受这一不一致性驱动，我们提出了一种统一现有凸与强凸情形 NAG 方法的 NAG 方法。我们首先设计了一个将首个 Bregman 拉格朗日量连续推广到强凸设定的拉格朗日函数。作为该拉格朗日量欧拉-拉格朗日方程的一个特例，我们推导出一个常微分方程 (ODE) 模型，称之为统一 NAG ODE，它弥合了建模凸与强凸目标函数 NAG 的 ODE 之间的鸿沟。随后我们设计了统一 NAG，一种其连续时间极限对应于该统一 ODE 的新动量方法。统一 NAG 与统一 ODE 的系数及收敛速率在强凸参数 $\mu$ 于 $[0, +\infty)$ 上连续。与现有的用于强凸目标函数的流行算法和 ODE 不同，统一 NAG 与统一 NAG ODE 相较于已知的非强凸目标函数算法和 ODE 总具有更优的收敛保证。这一性质在考虑具有小 $\mu$ 的强凸目标函数时具有实际益处。此外，我们将统一动力学与算法推广到高阶设定。最后同样重要的是，我们提出了统一 NAG-G ODE，一种用于最小化强凸目标函数梯度范数的新 ODE 模型。我们的统一拉格朗日框架在构建该 ODE 的过程中至关重要。有趣的是，利用我们称为微分核的新工具，我们观察到统一 NAG ODE 与统一 NAG-G ODE 具有反转置关系。