在线乘性随机梯度下降的非渐近分析
机器学习
2023-03-02 v9 机器学习
统计理论
统计理论
摘要
以往研究表明，通过小批量（minibatching）进行的随机梯度下降（SGD）误差的协方差在决定其正则化及逃离低势点方面起着关键作用。受该领域一些新研究的启发，我们证明了普适性结果：具有与通过小批量进行的 SGD 相同均值和协方差结构的噪声类具有相似性质。我们主要考虑先前工作中引入的乘性随机梯度下降（M-SGD）算法，其噪声类比通过小批量进行的 SGD 算法更为一般。我们在 Wasserstein 距离下建立了 M-SGD 算法的非渐近界。我们还表明，在 M-SGD 算法的任意固定点处，M-SGD 误差近似为均值 的缩放高斯分布。
引用
@article{arxiv.2112.07110,
title = {Non-Asymptotic Analysis of Online Multiplicative Stochastic Gradient Descent},
author = {Riddhiman Bhattacharya and Tiefeng Jiang},
journal= {arXiv preprint arXiv:2112.07110},
year = {2023}
}