SP2：一种二阶随机 Polyak 方法
机器学习
2022-07-19 v1 最优化与控制
摘要
近年来，“SP”（随机 Polyak 步长）方法已成为一种用于设置 SGD 步长的有竞争力的自适应方法。SP 可解释为专门针对插值模型的方法，因为它求解插值方程。SP 通过使用模型的局部线性化来求解这些方程。我们更进一步，开发了一种利用模型的局部二阶近似来求解插值方程的方法。我们所得的方法 SP2 使用 Hessian-向量积来加速 SP 的收敛。此外，且在二阶方法中相当独特的是，SP2 的设计绝不依赖于正定 Hessian 矩阵或目标函数的凸性。我们展示了 SP2 在矩阵补全、非凸测试问题和逻辑回归上极具竞争力。我们还提供了关于二次项和的收敛理论。
引用
@article{arxiv.2207.08171,
title = {SP2: A Second Order Stochastic Polyak Method},
author = {Shuang Li and William J. Swartworth and Martin Takáč and Deanna Needell and Robert M. Gower},
journal= {arXiv preprint arXiv:2207.08171},
year = {2022}
}