深度神经网络中的自由度
机器学习
2016-06-06 v2 机器学习
摘要
在本文中，我们探索深度sigmoidal神经网络中的自由度。我们表明这些模型中的自由度与期望乐观度相关，期望乐观度是测试误差与训练误差之间的期望差。我们提供了一种高效的蒙特卡洛方法来估计多类分类方法的自由度。我们展示在简单XOR网络中自由度小于参数数量。我们将这些结果扩展到在合成和真实数据上训练的神经网络，并研究网络架构和不同正则化选择的影响。深度网络中的自由度戏剧性地小于参数数量，在某些真实数据集中小几个数量级。此外，我们观察到对于固定数量的参数，更深的网络具有更少的自由度，表现出深度正则化。
引用
@article{arxiv.1603.09260,
title = {Degrees of Freedom in Deep Neural Networks},
author = {Tianxiang Gao and Vladimir Jojic},
journal= {arXiv preprint arXiv:1603.09260},
year = {2016}
}