方差缩减随机梯度方法中的余 coercive 性、光滑性与偏差
最优化与控制
2022-10-19 v3 机器学习
摘要
为考察方差缩减随机梯度方法中的有偏更新，我们引入 SVAG，一种具有可调偏差的类似 SAG/SAGA 的方法。SVAG 在余 coercive 求根设定下分析，该设定对普通近端梯度法给出与通常光滑凸优化设定相同的结果。我们表明当使用有偏更新时，对 SVAG 而言情况并非如此。当算子是梯度时，步长要求比其不是梯度时显著更宽松。这凸显了在分析面向优化的方差缩减方法时不能仅依赖余 coercive 性。我们的分析匹配或改进了先前已知的 SAG 与 SAGA 收敛条件。然而，在有偏情形下它们仍与实际经验不符，因此我们在一组分类问题上数值考察了偏差的影响。偏差的选择似乎主要影响收敛的早期阶段，且在多数情况下差异在收敛后期消失。不过，在少数情况下偏差选择的影响仍然显著。
引用
@article{arxiv.1903.09009,
title = {Cocoercivity, Smoothness and Bias in Variance-Reduced Stochastic Gradient Methods},
author = {Martin Morin and Pontus Giselsson},
journal= {arXiv preprint arXiv:1903.09009},
year = {2022}
}