基于功率谱密度分析计算洗牌随机梯度算法的方差
最优化与控制
2022-06-02 v1 机器学习
机器学习
摘要
在求解有限和最小化问题时，随机梯度下降（SGD）具有理论优势的两种常见替代方案是随机重排（SGD-RR）与单次洗牌（SGD-SO），其中函数以无放回的循环方式采样。在一个实验上成立且方便的随机噪声近似下，我们研究了SGD、SGD-RR与SGD-SO迭代量的平稳方差，其首项按此顺序递减，并获得了简单近似。为得到结果，我们研究了随机梯度噪声序列的功率谱密度。我们的分析扩展至带动量的SGD与随机Nesterov加速梯度法。我们在二次目标函数上开展实验，以检验近似的有效性与结论的正确性。
引用
@article{arxiv.2206.00632,
title = {Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis},
author = {Carles Domingo-Enrich},
journal= {arXiv preprint arXiv:2206.00632},
year = {2022}
}
备注
The code can be found at \url{https://github.com/CDEnrich/sgd_shuffling}