动量缩放对SGD的影响
最优化与控制
2022-10-24 v1
摘要
本文研究带预条件的随机梯度方法的性质。我们关注带有动量系数 的动量更新预条件子。为解释缩放方法的实际效率，我们在与预条件子相关联的范数下给出收敛性分析，并证明缩放使得收敛速率中得以摆脱梯度Lipschitz常数。在此过程中，我们强调了 的重要作用，而它被诸多作者随意地固定为常数 ，这是不合理的。最后，我们提出了自适应 与步长值的显式构造公式。
引用
@article{arxiv.2210.11869,
title = {Effects of momentum scaling for SGD},
author = {Dmitry A. Pasechnyuk and Alexander Gasnikov and Martin Takáč},
journal= {arXiv preprint arXiv:2210.11869},
year = {2022}
}
备注
19 pages, 14 figures