一种适用于一般凸函数的稳定高阶调节器

基于迭代梯度的算法已日益广泛地应用于包括大型神经网络在内的多种机器学习模型的训练。特别地，具有加速学习保证的基于动量的方法因其在特定问题类上可证明的快速学习保证而备受关注，且已衍生出多种算法。然而，这些方法的性质仅对常值回归量成立。当面临时变回归量时（在动态系统中十分常见），许多此类基于动量的方法无法保证稳定性。近来，一种针对线性回归问题提出的新高阶调节器 (HT) 被证明具有 1) 对时变回归量的稳定性与渐近收敛性，以及 2) 对常值回归量的非渐近加速学习保证。本文中，我们推广并讨论了同一 HT 在一般凸损失函数下的结果。通过利用凸性与光滑性的定义，我们建立了类似的稳定性与渐近收敛保证。最后，我们给出数值仿真，佐证 HT 算法令人满意的行为以及一种加速学习特性。