一种更优的随机优化算法：小批量与插值学习
机器学习
2021-10-27 v2 最优化与控制
摘要
我们提出并分析了一种使用小批量随机梯度估计来优化光滑凸或强凸目标的算法。该算法在小批量大小和最小期望损失上的依赖同时达到最优。这改进了Lan（2012）的最优方法（其对最小期望损失不敏感）、Cotter等人（2011）的乐观加速（其对小批量大小的依赖次优）以及Liu和Belkin（2018）的算法（其仅限于最小二乘问题，且在小批量大小上同样次优）。应用于插值学习时，相对于Cotter等人和Liu和Belkin的改进转化为线性（而非平方根）的并行化加速。
引用
@article{arxiv.2106.02720,
title = {An Even More Optimal Stochastic Optimization Algorithm: Minibatching and Interpolation Learning},
author = {Blake Woodworth and Nathan Srebro},
journal= {arXiv preprint arXiv:2106.02720},
year = {2021}
}
备注
24 pages