深度 ReLU 网络具有出乎意料少的激活模式

深度网络的成功部分归因于其表达性:按参数计,深度网络比浅层网络能逼近更丰富的函数类。在 ReLU 网络中,激活模式的数量是表达性的一种度量;其最大模式数随深度呈指数增长。然而,近期工作表明,深度网络的实际表达性——它们能学习而非表达的函数——往往远小于理论最大值。在本文中,我们证明 ReLU 网络在初始化时激活模式的平均数量以神经元总数升至输入维数为界。我们通过实验表明,这一与深度无关的界在初始化期间和训练期间都是紧的,即使在应当最大化激活模式数量的记忆任务中也是如此。我们的工作表明,充分发挥深度网络的全部表达性在实践中可能不可行,至少以当前方法是如此。