深度神经网络的等价与近似变换

若两个网络对任何给定输入产生相同输出，则它们是等价的。在本文中，我们研究将深度神经网络变换为具有不同单元数或层数的另一网络的可能性，该网络可以是原始网络的等价网络、局部精确近似或全局线性近似。在实践方面，我们表明某些修正线性单元（ReLU）若对任何有效输入始终激活或不激活，则可从网络中安全移除。若仅需一个针对较小域的等价网络，则可移除更多单元并折叠某些层。在理论方面，我们构造性地证明，对于任意前馈 ReLU 网络，存在一个具有固定单元数的 2 隐藏层浅层网络的全局线性近似。该结果在单层任意逼近所需单元数不断增加与已知精确表示所需 $\lceil log(n_0+1)\rceil +1$ 层的上界之间取得了平衡，其中 $n_0$ 为输入维度。尽管变换后的网络可能需要指数级数量的单元来捕捉原始网络的激活模式，我们表明通过仅考虑定义线性区域的模式可使其大幅减小。基于在 MNIST 数据集上对 ReLU 网络的实验，我们发现随着因权重稀疏性导致的稳定单元数增加，$l_1$-正则化和对抗训练显著减少了线性区域的数量。因此，我们也可以有意地训练 ReLU 网络以实现有效的无损压缩与近似。