动量是否有帮助？一种样本复杂度分析
机器学习
2022-07-12 v3
摘要
随机重球法（SHB）与Nesterov加速随机梯度法（ASG）是随机优化中流行的动量方法。尽管此类加速思想在确定性设定下的益处已被充分理解，它们在随机优化中的优势仍不明确。事实上，在某些特定情形下，已知动量在样本复杂度意义上并无帮助。我们的工作表明，类似结论实际上对整个二次优化族都成立。具体而言，我们给出了SHB与ASG在该族上的样本复杂度下界，并证明该下界可由原始SGD达到。我们注意到，现有某些结果声称基于动量的方法在二次优化中具优越性，但这些基于片面或有缺陷的分析。
引用
@article{arxiv.2110.15547,
title = {Does Momentum Help? A Sample Complexity Analysis},
author = {Swetha Ganesh and Rohan Deb and Gugan Thoppe and Amarjit Budhiraja},
journal= {arXiv preprint arXiv:2110.15547},
year = {2022}
}