具有批量大小自适应的黎曼非凸优化方差缩减
最优化与控制
2020-07-06 v1 机器学习
机器学习
摘要
方差缩减技术在加速欧氏空间和黎曼流形上定义的优化问题的梯度下降和随机梯度下降中很受欢迎。在本文中，我们进一步改进了现有的非凸黎曼优化方差缩减方法，包括具有批量大小自适应的R-SVRG和R-SRG/R-SPIDER。我们证明，在有限和与在线两种设定下，该策略都能在优化一般非凸函数和梯度主导函数时实现更低的总复杂度。因此，我们也为R-SVRG提供了更简洁的收敛性分析，并改进了有限和设定下R-SRG的复杂度界限。具体来说，我们证明了R-SRG无需小步长即可达到与R-SPIDER相同的近最优复杂度。在多种任务上的实证实验证明了所提出的自适应批量大小方案的有效性。
引用
@article{arxiv.2007.01494,
title = {Variance reduction for Riemannian non-convex optimization with batch size adaptation},
author = {Andi Han and Junbin Gao},
journal= {arXiv preprint arXiv:2007.01494},
year = {2020}
}