战胜非凸性的危险：使用张量方法保证神经网络训练
机器学习
2016-01-13 v3 神经与进化计算
机器学习
摘要
训练神经网络是一个具有挑战性的非凸优化问题，反向传播或梯度下降可能陷入伪局部最优。我们提出一种基于张量分解的新算法，用于两层神经网络的保证训练。我们为提出的方法提供了风险界，在相关参数(如输入维度和神经元数量)上具有多项式样本复杂度。虽然学习任意目标函数是 NP 难的，我们提供了关于可学习性的函数和输入的透明条件。我们的训练方法基于张量分解，在一组温和的非退化条件下可证明收敛到全局最优。它由简单的易并行线性和多线性操作组成，并且在计算复杂度方面与标准随机梯度下降(SGD)竞争。因此，我们提出了一种计算高效的方法，带有保证风险界，用于训练单隐藏层神经网络。
引用
@article{arxiv.1506.08473,
title = {Beating the Perils of Non-Convexity: Guaranteed Training of Neural Networks using Tensor Methods},
author = {Majid Janzamin and Hanie Sedghi and Anima Anandkumar},
journal= {arXiv preprint arXiv:1506.08473},
year = {2016}
}
备注
The tensor decomposition analysis is expanded, and the analysis of ridge regression is added for recovering the parameters of last layer of neural network