基于编织阵列的神经网络深度界限

我们致力于解决关于ReLU网络为准确表示 $\mathbb{R}^d$ 上所有连续且分段线性函数所需隐藏层数的开放问题。虽然该问题在特殊情况下已被解决, 但一般情况下已知的最佳下界仍为2。我们关注与特定多面体复合体兼容的神经网络, 更准确地说是与编织风扇(fan)兼容的网络。对于此类网络, 我们证明了需要 $\Omega(\log\log d)$ 个隐藏层才能准确表示 $d$ 个数的最大值。此外, 在我们的假设下, 我们提供一个组合论证, 表明需要3个隐藏层才能计算5个数的最大值; 此前仅通过大量计算验证。最后, 我们展示了自然推广到maxout网络的最佳已知上界并不紧密, 通过表明一个秩为3的maxout层紧随其后的是一个秩为2的maxout层足以表示7个数的最大值。