理解噪声在神经网络训练中的重要性
机器学习
2019-09-10 v1 最优化与控制
机器学习
摘要
大量经验证据证实，噪声在神经网络的有效高效训练中起着关键作用。然而，其背后的理论在很大程度上仍不为人知。本文通过训练一个简单的两层卷积神经网络模型来研究这一基本问题。尽管训练这样一个网络需要求解一个具有伪局部最优和全局最优的非凸优化问题，我们证明，带有噪声退火的扰动梯度下降和扰动小批量随机梯度算法，在任意初始化下均能在多项式时间内保证收敛到全局最优。这意味着噪声使算法能够高效地逃离伪局部最优。文中提供了数值实验以支持我们的理论。
引用
@article{arxiv.1909.03172,
title = {Towards Understanding the Importance of Noise in Training Neural Networks},
author = {Mo Zhou and Tianyi Liu and Yan Li and Dachao Lin and Enlu Zhou and Tuo Zhao},
journal= {arXiv preprint arXiv:1909.03172},
year = {2019}
}
备注
International Conference on Machine Learning (ICML), 2019