Leaky-ReLU 神经网络实现一致通用逼近的最小宽度

神经网络(NN)的通用逼近性质(UAP)研究有着悠久的历史。当网络宽度不受限时,仅单个隐藏层即足以实现 UAP。相反,当深度不受限时,UAP 所需的宽度不小于临界宽度 $w^*_{\min}=\max(d_x,d_y)$,其中 $d_x$ 和 $d_y$ 分别为输入和输出的维度。最近,\cite{cai2022achieve} 表明,具有该临界宽度的 leaky-ReLU 神经网络可在紧致域 ${K}$ 上实现对 $L^p$ 函数的 UAP,即 $L^p({K},\mathbb{R}^{d_y})$ 的 UAP。本文研究了函数类 $C({K},\mathbb{R}^{d_y})$ 的一致 UAP,并给出 leaky-ReLU 神经网络的精确最小宽度为 $w_{\min}=\max(d_x,d_y)+\Delta (d_x, d_y)$,其中 $\Delta (d_x, d_y)$ 为通过嵌入用微分同胚逼近连续函数所需的附加维度。为得到该结果,我们提出了一种新颖的 lift-flow-discretization 方法,表明一致 UAP 与拓扑理论有深刻联系。