关于深度神经网络线性区域的数量
机器学习
2014-06-10 v2 机器学习
神经与进化计算
摘要
我们研究了具有分段线性激活函数的深度前馈神经网络所计算函数的复杂性，重点关注其对称性和线性区域的数量。深度网络能够顺序地将每一层输入空间的部分映射到相同的输出。通过这种方式，深度模型计算的函数能够对不同输入的复杂模式做出同等反应。这些函数的组合结构使它们能够以网络深度的指数级频率重用计算片段。本文研究了此类组合映射的复杂性，并 contributed 了关于分段线性激活函数神经网络深度优势的新理论结果。特别是，我们的分析并不特定于单一模型族，作为示例，我们将其应用于整流器网络和 maxout 网络。我们改进了现有工作的复杂性界限，并研究了高层单元的行为。
引用
@article{arxiv.1402.1869,
title = {On the Number of Linear Regions of Deep Neural Networks},
author = {Guido Montúfar and Razvan Pascanu and Kyunghyun Cho and Yoshua Bengio},
journal= {arXiv preprint arXiv:1402.1869},
year = {2014}
}