豪猪神经网络：（几乎）所有局部最优都是全局最优
机器学习
2017-10-09 v1 机器学习
摘要
神经网络已在众多机器学习和统计学应用中得到突出使用。一般而言，神经网络的底层优化是非凸的，这使得对其性能分析颇具挑战。本文中，我们采取一种新颖的方法来解决这个问题，即探究能否约束神经网络权重，使其优化景观具有良好的理论性质，同时又能很好地逼近无约束网络。对于两层神经网络，我们通过引入豪猪神经网络 (PNNs) 对这些问题给出了肯定的回答，PNNs 的权重向量被约束在有限的直线集合上。我们证明，PNN 优化的大多数局部最优都是全局最优，同时我们对可能存在不良局部最优解的区域进行了刻画。此外，我们的理论和实证结果表明，一个无约束神经网络可以用一个多项式规模的 PNN 来逼近。
引用
@article{arxiv.1710.02196,
title = {Porcupine Neural Networks: (Almost) All Local Optima are Global},
author = {Soheil Feizi and Hamid Javadi and Jesse Zhang and David Tse},
journal= {arXiv preprint arXiv:1710.02196},
year = {2017}
}