多样性神经网络学习真实目标函数
机器学习
2017-03-06 v3 机器学习
摘要
神经网络是一类强大的函数，可通过简单梯度下降训练，在多种应用上达到最先进性能。尽管取得实际成功，但关于其为何如此有效的理论保证结果匮乏。该问题的核心在于分析具有潜在众多局部极小与鞍点的非凸损失函数的困难。对应于损失函数驻点的神经网络能否学习真实目标函数？若能，促成如此良好优化性质的关键因素是什么？在本文中，我们通过分析带 ReLU 激活的单隐层神经网络来回答这些问题，并表明尽管存在非凸性，具有多样化单元的神经网络没有伪局部极小。我们通过直接分析一阶最优性条件规避非凸性问题，并表明若“扩展特征矩阵”的最小奇异值足够大，损失可任意小。我们新颖地运用了核方法与几何偏差技术，并识别出将最小奇异值、与激活函数相关的核函数谱以及单元多样性联系起来的新关系。我们的结果还提出了一种新颖的正则化函数，以促进单元多样性从而潜在地获得更好泛化。
引用
@article{arxiv.1611.03131,
title = {Diverse Neural Network Learns True Target Functions},
author = {Bo Xie and Yingyu Liang and Le Song},
journal= {arXiv preprint arXiv:1611.03131},
year = {2017}
}