深度神经网络线性区域的界定与计数
机器学习
2018-09-18 v4 人工智能
神经与进化计算
最优化与控制
机器学习
摘要
我们研究了表示分段线性（PWL）函数的深度神经网络（DNN）的复杂度。具体而言，我们从理论和经验两方面研究了由 DNN 表示的分段线性函数所能达到的线性区域（即片段）的数量。我们给出（i）针对整流器网络上线性区域最大数量的更紧致上下界，对于一维输入是精确的；（ii）针对多层 maxout 网络的第一个上界；以及（iii）一种通过将 DNN 建模为混合整数线性公式来精确枚举或计数区域数量的首次方法。这些界来自于利用定义每个线性区域的空间的维数。结果还表明，具有与输入维数相同神经元数的浅层网络相比，深层整流器网络只有在神经元数超过输入维数时才能拥有更多的线性区域。
引用
@article{arxiv.1711.02114,
title = {Bounding and Counting Linear Regions of Deep Neural Networks},
author = {Thiago Serra and Christian Tjandraatmadja and Srikumar Ramalingam},
journal= {arXiv preprint arXiv:1711.02114},
year = {2018}
}
备注
ICML 2018