通过不精确预条件加速 SVRG 与 Katyusha X
最优化与控制
2019-05-24 v1
摘要
经验风险最小化是一类重要的优化问题，具有许多流行的机器学习应用，随机方差缩减方法是求解它们的常用选择。在这些方法中，SVRG 和 Katyusha X（一种 Nesterov 加速的 SVRG）在不大量占用内存的情况下实现快速收敛。在本文中，我们提出通过不精确预条件来加速这两种算法，所提方法采用固定预条件子，尽管每个 epoch 中的子问题变得更难，但只需应用固定数量的简单子程序即可不精确地求解它，且不会损失整体收敛性。因此，该不精确预条件策略在迭代复杂度和梯度复杂度上相对 SVRG 和 Katyusha X 有可证明的改进。我们还允许有限和中的各个函数非凸，而总和强凸。在我们的数值实验中，我们观察到迭代次数平均 加速和运行时长 加速。
引用
@article{arxiv.1905.09734,
title = {Acceleration of SVRG and Katyusha X by Inexact Preconditioning},
author = {Yanli Liu and Fei Feng and Wotao Yin},
journal= {arXiv preprint arXiv:1905.09734},
year = {2019}
}