SGEM：具有能量与动量的随机梯度
机器学习
2022-08-04 v1 最优化与控制
摘要
在本文中，我们提出 SGEM（Stochastic Gradient with Energy and Momentum，具有能量与动量的随机梯度），基于源自文献 [AEGD: Adaptive Gradient Descent with Energy. arXiv: 2010.05109] 的 AEGD 方法，来解决一大类一般非凸随机优化问题。SGEM 同时结合了能量和动量，以继承它们的双重优势。我们证明 SGEM 具有无条件能量稳定性性质，并推导了一般非凸随机设定下的能量依赖收敛速率，以及在线凸设定下的后悔界。还给出了能量变量的下阈值。我们的实验结果表明，在训练某些深度神经网络时，SGEM 比 AEGD 收敛更快，且泛化能力强于或至少不差于 SGDM。
引用
@article{arxiv.2208.02208,
title = {SGEM: stochastic gradient with energy and momentum},
author = {Hailiang Liu and Xuping Tian},
journal= {arXiv preprint arXiv:2208.02208},
year = {2022}
}
备注
24 pages, 4 figures