迫使 ReLU 网络在初始化及训练过程中呈现指数级多线性区域

在具有 ReLU 激活函数的神经网络中，输出中的分段线性区域数量可随深度呈指数增长。然而，当初始参数随机采样时，这种情况极不可能发生，因此常常导致使用不必要的大网络。为解决此问题，我们引入了一种新颖的网络参数化方法，该方法限制其权重，使得深度为 $d$ 的网络在初始化时恰好产生 $2^d$ 个线性区域，并在该参数化下于整个训练过程中保持这些区域。此方法使我们能够学习凸的一维函数的近似，其精度比随机初始化的对应网络高出数个数量级。我们进一步展示了将该构造初步扩展至多维和非凸函数，使得该技术可在各种架构中替代传统的全连接层。