别绕弯子，去掉那些循环：无外层循环的 SVRG 和 Katyusha 表现更好
机器学习
2019-06-06 v2 最优化与控制
机器学习
摘要
随机方差缩减梯度方法 (SVRG) 及其加速变体 在过去几年中因其在通过经验风险最小化范式训练监督机器学习模型时具有优越的理论性质和经验行为，而在机器学习社区引起了极大关注。这两种方法的一个关键结构要素是在开头包含一个外层循环，在该循环开始时对训练数据进行完整遍历以计算精确梯度，随后使用该梯度构造方差缩减的梯度估计器。在本工作中，我们设计了这两种方法的{\em 无循环变体}。具体而言，我们移除了外层循环，并用每次迭代中执行的一次抛硬币操作来替代其功能，该操作以较小的概率触发梯度的计算。我们证明了新方法享有与原方法相同的优越理论收敛性质。然而，我们通过数值实验表明，我们的方法具有更优的实际表现。
引用
@article{arxiv.1901.08689,
title = {Don't Jump Through Hoops and Remove Those Loops: SVRG and Katyusha are Better Without the Outer Loop},
author = {Dmitry Kovalev and Samuel Horvath and Peter Richtarik},
journal= {arXiv preprint arXiv:1901.08689},
year = {2019}
}
备注
14 pages, 2 algorithms, 9 lemmas, 2 theorems, 4 figures