实现神经网络通用逼近的最小宽度

神经网络的通用逼近性质（UAP）是深度学习的基础，且众所周知，宽神经网络在 $L^p$ 范数和连续/一致范数下都是连续函数的通用逼近器。然而，UAP 的精确最小宽度 $w_{\min}$ 尚未被充分研究。最近，\citet{Park2021Minimum} 利用解码器-记忆器-编码器方案发现，对于 ReLU 网络的 $L^p$-UAP 和 ReLU+STEP 网络的 $C$-UAP，均有 $w_{\min} = \max(d_x+1,d_y)$，其中 $d_x,d_y$ 分别为输入和输出维度。本文考虑具有任意激活函数集的神经网络。我们证明，紧致域上函数的 $C$-UAP 和 $L^p$-UAP 共享一个通用的最小宽度下界，即 $w^*_{\min} = \max(d_x,d_y)$。特别地，只要输入或输出维度大于一，该临界宽度 $w^*_{\min}$ 可由 leaky-ReLU 网络在 $L^p$-UAP 中实现。我们的构造基于神经常微分方程的逼近能力以及神经网络逼近流映射的能力。文中还讨论了非单调或间断激活函数的情况以及一维情况。