一般输入分布下单层隐藏层神经网络的学习

近来在训练神经网络方面取得了显著进展，其主要挑战在于求解具有大量临界点的优化问题。然而，现有的应对方法关键依赖于一个限制性假设：训练数据来自高斯分布。在本文中，我们提供了一种新颖的统一框架，为广泛的一般输入分布设计具有理想景观性质的损失函数。在这些损失函数上，随机梯度下降在全局初始化下理论上能恢复真实参数，并且在经验上优于现有方法。我们的损失函数设计将得分函数的概念与神经网络优化主题联系起来。我们方法的核心是从样本中估计得分函数的任务，这对理论统计学具有基本且独立的意义。传统的估计方法（例如基于核的方法）从一开始就失败；我们引入局部似然的统计方法来设计一种新颖的得分函数估计器，可证明地适应未知密度的局部几何。