深度窄网络的通用逼近能力

经典的通用逼近定理适用于任意宽度且有界深度的神经网络。此处我们考虑网络有界宽度、任意深度的自然“对偶”情形。确切地说，令 $n$ 为输入神经元个数，$m$ 为输出神经元个数，并令 $\rho$ 为任意非仿射连续函数，且在某点具有连续的非零导数。则我们证明：对于任意深度、宽度为 $n + m + 2$、激活函数为 $\rho$ 的神经网络类，在 $K \subseteq \mathbb{R}^n$ 且 $K$ 为紧集时，于 $C(K; \mathbb{R}^m)$ 中是稠密的。这涵盖了实践中可能使用的每一种激活函数，并且也包含多项式激活函数，这与该定理的经典版本不同，并给出了深度窄网络与浅层宽网络之间的定性差异。随后我们考虑了该结果的若干推广。特别地，我们考虑了无处可微的激活函数、在非紧域上关于 $L^p$-范数的稠密性，以及对于“大多数”激活函数宽度可减小至仅 $n + m + 1$ 的情形。