重球方法的均值场分析：丢弃稳定性、连通性与全局收敛
机器学习
2023-02-07 v2 机器学习
摘要
随机重球方法(SHB)，亦称带Polyak动量的随机梯度下降(SGD)，广泛用于神经网络训练。然而，尽管该算法在实践中有显著成功，其理论刻画仍有限。本文关注两层与三层神经网络，严谨理解SHB所求解的性质：(i) 丢弃部分神经元后的稳定性，(ii) 沿低损失路径的连通性，以及(iii) 收敛至全局最优。为实现此目标，我们采用均值场视角，将SHB动力学在宽网络极限下关联至某偏微分方程。该均值场视角启发了近期聚焦SGD的一系列工作，而本文考虑带动量的算法。更具体地，在证明极限微分方程存在唯一性后，我们展示收敛至全局最优，并给出均值场极限与有限宽网络SHB动力学间的定量界。借助此界，我们得以确立SHB解的丢弃稳定性与连通性。
引用
@article{arxiv.2210.06819,
title = {Mean-field analysis for heavy ball methods: Dropout-stability, connectivity, and global convergence},
author = {Diyuan Wu and Vyacheslav Kungurtsev and Marco Mondelli},
journal= {arXiv preprint arXiv:2210.06819},
year = {2023}
}
备注
14 pages in main text; 51 pages including bibliography and appendix. Published in Transcation on Machine Learning Research(TMLR), 2023. https://openreview.net/forum?id=gZna3IiGfl