迈向对前馈神经网络学习困难性的数学理解
机器学习
2017-11-23 v3 人工智能
神经与进化计算
最优化与控制
摘要
训练深度神经网络以解决机器学习问题是该领域的一大挑战，主要因其相关的优化问题高度非凸。近期进展表明，许多训练算法在特定情形下不会陷入不期望的局部极小，从而引发了大量寻求对此现象数学解释的努力。本文从光滑优化视角提供了对该挑战的一种另类数学理解。通过假设对有限样本的确切学习，借助临界点分析确定了充分条件，以保证任何局部极小同时也是全局极小。此外，一种称为广义高斯-牛顿（GGN）算法的最先进算法被严格地重新审视为一种近似牛顿算法，该算法在确切学习条件下具有局部二次收敛到全局极小点的性质。
引用
@article{arxiv.1611.05827,
title = {Towards a Mathematical Understanding of the Difficulty in Learning with Feedforward Neural Networks},
author = {Hao Shen},
journal= {arXiv preprint arXiv:1611.05827},
year = {2017}
}
备注
22 pages, 1 figure, submitted for publication