高维连续函数的最优神经网络逼近

最近，\cite{SYZ22} 的作者开发了一种神经网络，其宽度为 $36d(2d + 1)$，深度为 $11$，利用一种称为初等通用激活函数的特殊激活函数，以实现对 $C([a,b]^d)$ 中函数的超逼近特性。即构建的网络只需要固定数量的神经元（因此参数）即可对 $d$ 变量在 $d$ 维超立方体上的连续函数进行任意精度的逼近。更具体地说，只需使用 $\mathcal{O}(d^2)$ 个神经元或参数。一个自然问题是，我们能否减少这些神经元或参数的数量。通过利用Kolmogorov 超叠加定理的一种变体，我们显示存在由初等通用激活函数生成的网络组合，其最多有 $10889d + 10887$ 个非零参数，以实现此超逼近特性。该组合网络由重复评估两个神经网络组成：一个宽度为 $36(2d+1)$，另一个宽度为36，两个都有5层。此外，我们呈现了一族连续函数，其至少需要宽度为 $d$，因此至少需要 $d$ 个神经元或参数，才能实现其逼近的任意精度。这表明非零参数的数量在输入维数 $d$ 上的线性增长是最优的，就像一些近似方法那样，参数可能会随 $d$ 的指数增长。