任意采样下的非凸方差缩减优化
最优化与控制
2019-02-01 v2
摘要
我们首次给出了针对非凸损失函数经验风险最小化的方差缩减算法的重要性采样变体。具体而言，我们分析了 SVRG、SAGA 与 SARAH 的非凸版本。相较于真实数据集上当前最优方法，我们的方法能够将训练过程提速一个数量级。此外，我们还通过提出该设定下小批量的重要性采样，改进了这些方法的现有小批量分析。令人惊讶的是，我们的方法在某些情形下可相对于小批量大小实现超线性加速，而这通常在随机优化中并不出现。上述结果均源于对采用任意采样（即每轮迭代中选择待采样样本子集的完全通用随机策略）的方法的通用分析。最后，我们还对凸设定下的 SARAH 进行了新颖的重要性采样分析。
引用
@article{arxiv.1809.04146,
title = {Nonconvex Variance Reduced Optimization with Arbitrary Sampling},
author = {Samuel Horváth and Peter Richtárik},
journal= {arXiv preprint arXiv:1809.04146},
year = {2019}
}
备注
9 pages, 12 figures, 25 pages of supplementary materials