论神经网络中高度的表达能力

在本工作中，除宽度和深度外，我们通过在同层神经元间建立内部连接以创建层内层次结构，为神经网络增加了一个称为“高度”的新维度，由此引出高度的概念。我们将由宽度、深度和高度表征的神经网络称为 3D 网络。为理解 3D 网络，我们从理论和实验上研究了高度的表达能力。通过边界估计与显式构造，我们证明在神经元和参数数量相同的情况下，宽度为 $W$、深度为 $K$、高度为 $H$ 的 3D ReLU 网络比宽度为 $H\times W$、深度为 $K$ 的 2D 网络具有更强的表达能力，即在生成分段线性函数的更多片段方面，$\mathcal{O}((2^H-1)W)^K)$ 对比 $\mathcal{O}((HW)^K)$。接下来，通过逼近速率分析，我们表明通过在网络中引入层内连接，宽度为 $\mathcal{O}(W)$、深度为 $\mathcal{O}(K)$ 的 ReLU 网络能够以误差 $\mathcal{O}\left(2^{-2WK}\right)$ 逼近 $[0,1]^d$ 中的多项式，这改善了固定宽度网络的 $\mathcal{O}\left(W^{-K}\right)$ 与 $\mathcal{O}\left(2^{-K}\right)$。最后，在 5 个合成数据集、15 个表格数据集和 3 个图像基准上的数值实验验证了 3D 网络能够提供具有竞争力的回归与分类性能。