关于具有无限维映射一致逼近保证的神经网络通用逼近

关于用神经网络通用逼近任意函数 $f: \mathcal{X} \to \mathcal{Y}$ 的研究有着丰富而透彻的历史，可追溯到 Kolmogorov (1957)。在有限维映射学习的情况下，许多作者已展示了固定深度和固定宽度神经网络的各种形式的通用性。然而，在许多情况下，这些经典结果未能扩展到近期将具有无限多个单元的神经网络近似用于函数数据分析、动力系统辨识以及其他 $\mathcal{X}$ 或 $\mathcal{Y}$ 为无限维的应用。两个自然的问题随之产生：神经网络的哪些无限维类比足以逼近任意映射 $f: \mathcal{X} \to \mathcal{Y}$，以及实践中使用的这些类比的有限近似何时能在无限维定义域 $\mathcal{X}$ 上一致逼近 $f$？在本文中，我们回答了当 $\mathcal{X}$ 和 $\mathcal{Y}$ 均为无限维时非线性算子的通用逼近这一开放问题。我们表明，对于一大类不同的无限维神经网络类比，在 $\mathcal{X}$ 上带有某些温和拓扑条件时，任何连续映射都可以被任意紧密地逼近。此外，我们首次给出了有限近似无限神经网络所需的最小输入和输出单元数的下界，以保证其能利用输入输出样本一致逼近任意非线性算子。