基于历史梯度辅助的批大小自适应方法用于方差缩减算法
最优化与控制
2020-07-28 v4 机器学习
机器学习
摘要
方差缩减算法尽管在理论上性能优异，但由于使用大批数据周期性估计梯度，在实践中可能运行缓慢。因此，批大小自适应成为加速此类算法的一种有前景的方法。然而，现有方案要么采用预设的批大小自适应规则，要么通过额外的回溯和条件验证步骤利用优化路径上的信息。本文提出一种新方案，其消除了回溯线搜索，但仍通过利用历史随机梯度自适应批大小来挖掘优化路径上的信息。我们进一步从理论上证明，该方案显著降低了流行的方差缩减算法 SVRG 与 SARAH/SPIDER 在常规非凸优化和强化学习问题上的总体复杂度。为此，我们开发了一种新的收敛分析框架，以处理批大小对历史随机梯度的依赖性。大量实验验证了所提批大小自适应方案的有效性。
引用
@article{arxiv.1910.09670,
title = {History-Gradient Aided Batch Size Adaptation for Variance Reduced Algorithms},
author = {Kaiyi Ji and Zhe Wang and Bowen Weng and Yi Zhou and Wei Zhang and Yingbin Liang},
journal= {arXiv preprint arXiv:1910.09670},
year = {2020}
}
备注
46 pages, 23 figures; Published in ICML 2020