随机重排的 SARAH 无需完整梯度计算
机器学习
2024-01-17 v2 最优化与控制
摘要
随机递归梯度算法（StochAstic Recursive grAdient algoritHm, SARAH）是随机梯度下降（Stochastic Gradient Descent, SGD）算法的方差缩减变体，需要不时计算目标函数的梯度。在本文中，我们消除了完整梯度计算的必要性。这是通过使用随机重排策略并聚合每个 epoch 中获得的随机梯度实现的。聚合的随机梯度在 SARAH 算法中作为完整梯度的估计。我们对所提方法进行了理论分析，并以证明该方法有效性的数值实验结束本文。
引用
@article{arxiv.2111.13322,
title = {Random-reshuffled SARAH does not need a full gradient computations},
author = {Aleksandr Beznosikov and Martin Takáč},
journal= {arXiv preprint arXiv:2111.13322},
year = {2024}
}
备注
20 pages, 2 algorithms, 5 figures, 3 tables