从深到浅：深度整流网络的变换

本文中，我们引入深度整流网络的变换，使得深度整流网络可转换为浅层整流网络。我们随后证明，任意深度的任意整流网络均可由若干个可由带单隐藏层的浅层网络实现的函数之最大值来表示。我们对深度整流网络与深度残差网络均进行变换，以展示残差网络相对于常规神经网络的优势，以及深度神经网络相对于浅层神经网络的优势。总之，对于两个深度不同但隐藏单元总数相同的整流网络，较深网络对应的单隐藏层表示比较浅网络对应的单隐藏层表示复杂得多。类似地，对于一个残差网络与一个除跳过连接外结构相同的常规整流网络，残差网络对应的单隐藏层表示比常规网络对应的单隐藏层表示复杂得多。