通过单一固定尺寸 ReLU 网络复合增强表达能力

本文通过函数复合的框架探究深度神经网络的表达能力。我们证明，尽管单个网络本身表达能力有限，单一固定尺寸 ReLU 网络的重复复合却展现出惊人的表达能力。具体而言，我们通过构造证明 $\mathcal{L}_2\circ \boldsymbol{g}^{\circ r}\circ \boldsymbol{\mathcal{L}}_1$ 能以误差 $\mathcal{O}(r^{-1/d})$ 逼近 $[0,1]^d$ 上的 $1$-Lipschitz 连续函数，其中 $\boldsymbol{g}$ 由固定尺寸 ReLU 网络实现，$\boldsymbol{\mathcal{L}}_1$ 与 $\mathcal{L}_2$ 是匹配维度的两个仿射线性映射，$\boldsymbol{g}^{\circ r}$ 表示 $\boldsymbol{g}$ 的 $r$ 次复合。此外，我们将该结果推广至 $[0,1]^d$ 上的通用连续函数，其逼近误差由连续模刻画。我们的结果表明，即便动力学函数与时间无关且由固定尺寸 ReLU 网络实现，通过动力系统生成的连续深度网络仍具有巨大的逼近能力。