AI-SARAH：自适应隐式随机递归梯度方法
机器学习
2022-02-02 v3 最优化与控制
摘要
我们提出 AI-SARAH，一种 SARAH 的实用变体。作为 SARAH 的变体，该算法采用随机递归梯度，并基于局部几何调整步长。AI-SARAH 隐式计算步长，并高效估计随机函数的局部 Lipschitz 光滑性。它是完全自适应、无需调参、易于实现且计算高效的。我们对其设计与收敛性提供了技术见解与直观说明。我们进行了广泛的实证分析，并证明在求解凸机器学习问题时，相较于经典对应方法及其他最先进的一阶方法，其性能表现强劲。
引用
@article{arxiv.2102.09700,
title = {AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods},
author = {Zheng Shi and Abdurakhmon Sadiev and Nicolas Loizou and Peter Richtárik and Martin Takáč},
journal= {arXiv preprint arXiv:2102.09700},
year = {2022}
}