神经网络随机动量方法的末次迭代收敛分析
最优化与控制
2023-01-26 v1 机器学习
数值分析
数值分析
摘要
随机动量方法是求解人工神经网络中大规模随机优化问题的常用加速技术。当前非凸随机设定下随机动量方法的收敛结果多讨论随机输出与最小输出的收敛性。为此，我们依据传统优化理论，研究随机动量方法针对非凸随机优化问题的末次迭代输出（称为末次迭代收敛）的收敛性。我们在统一框架下证明了随机动量方法的末次迭代收敛，该框架涵盖随机重球动量与随机 Nesterov 加速梯度动量。动量因子可固定为常数，而非现有分析中的时变系数。最后，在基准 MNIST 与 CIFAR-10 数据集上验证了随机动量方法的末次迭代收敛。
引用
@article{arxiv.2205.14811,
title = {Last-iterate convergence analysis of stochastic momentum methods for neural networks},
author = {Dongpo Xu and Jinlan Liu and Yinghua Lu and Jun Kong and Danilo Mandic},
journal= {arXiv preprint arXiv:2205.14811},
year = {2023}
}
备注
21pages, 4figures