深度网络中线性区域的复杂度

众所周知，神经网络的表达能力取决于其架构，更深的网络表达更复杂的函数。对于计算分段线性函数的网络（如带 ReLU 激活的网络），不同线性区域的数量是一种自然的表达能力度量。可以构造仅具单个区域的网络，或线性区域数量随深度指数增长的网络；尚不清楚实践中大多数网络处于此范围何处，无论训练前还是训练后。本文中，我们提供数学框架以计数分段线性网络的线性区域数量并度量这些区域间边界的体积。特别地，我们证明对于初始化时的网络，沿任一维子空间的平均区域数量随神经元总数线性增长，远低于指数上界。我们还发现初始化时到最近区域边界的平均距离随神经元数量反比缩放。我们的理论表明，即便训练后，线性区域数量也远小于指数，这一直觉与我们的实证观察相符。我们得出结论：神经网络的实际表达能力可能远低于理论最大值，且此差距可被量化。