Łojasiewicz 景观下随机梯度下降算法的收敛性
机器学习
2024-11-20 v3 概率论
统计理论
统计理论
摘要
在本文中，我们考虑在底层景观弱假设下随机梯度下降方案（SGD）的收敛性，包括动量随机梯度下降（MSGD）。更明确地说，我们证明在 SGD 保持有界的事件上，如果临界点的数量仅为可数多个，或者目标函数在所有临界水平处满足 Łojasiewicz 不等式（如同所有解析函数那样），则 SGD 收敛。特别地，我们证明对于具有解析激活函数（如 softplus、sigmoid 和双曲正切）的神经网络，若训练中对信号和响应建模的随机变量具有紧支撑，则 SGD 在保持有界的事件上收敛。
引用
@article{arxiv.2102.09385,
title = {Convergence of stochastic gradient descent schemes for Lojasiewicz-landscapes},
author = {Steffen Dereich and Sebastian Kassing},
journal= {arXiv preprint arXiv:2102.09385},
year = {2024}
}