训练后神经网络的实证规模
机器学习
2016-11-30 v1 机器学习
摘要
ReLU 神经网络定义了其输入的分段线性函数。然而，初始化和训练一个神经网络与拟合一个线性样条非常不同。在本文中，我们基于先前的理论工作进行了实证扩展，以展示训练后神经网络的特征。标准的网络初始化和训练所产生的网络，其复杂程度远低于朴素的参数计数所暗示的水平，并且可能赋予训练后的网络一些奇特的特征。然而，我们也表明，这种强制的简单性是有益的，并且实际上对于这些网络的广泛成功至关重要。
引用
@article{arxiv.1611.09444,
title = {The empirical size of trained neural networks},
author = {Kevin K. Chen and Anthony Gamst and Alden Walker},
journal= {arXiv preprint arXiv:1611.09444},
year = {2016}
}
备注
6 pages, 5 figures