利用自适应Barzilai-Borwein步长加速随机递归与半随机梯度方法
最优化与控制
2023-10-24 v2
摘要
小批量版本的随机递归梯度算法（StochAstic Recursive grAdient algoritHm）与半随机梯度下降法（Semi-Stochastic Gradient Descent），采用随机Barzilai-Borwein步长（简称MB-SARAH-RBB与mS2GD-RBB），凭借及时的步长序列崭露头角。受现代自适应器与方差缩减技术启发，我们在文中提出两种新变体规则，称为RHBB与RHBB+，由此分别得到四种算法MB-SARAH-RHBB、MB-SARAH-RHBB+、mS2GD-RHBB与mS2GD-RHBB+。RHBB+是增强版本，额外融入了重要性采样技术。它们在更新上激进、性能上鲁棒且沿迭代周期自适应。我们分析了强凸情形下的灵活收敛结构及相应复杂度界。理论上给出了全面的调参指导以供实际实现参考。实验表明，所提方法在常用测试数据集上持续优于原始方法及多种最先进方法。特别地，RHBB+上的测试验证了将重要性采样技术应用于步长层面的有效性。大量探索显示了我们迭代自适应器的良好可扩展性。
引用
@article{arxiv.2307.13930,
title = {Accelerating Stochastic Recursive and Semi-stochastic Gradient Methods with Adaptive Barzilai-Borwein Step Sizes},
author = {Jiangshan Wang and Yiming Yang and Zheng Peng},
journal= {arXiv preprint arXiv:2307.13930},
year = {2023}
}
备注
44 pages, 33 figures