最小宽度神经网络通用逼近的新进展

我们证明了在最小或接近最小宽度下，对紧集上的$L^p(\mathbb{R}^{d_x}, \mathbb{R}^{d_y})$和$C^0(\mathbb{R}^{d_x}, \mathbb{R}^{d_y})$进行逼近的几个通用逼近结果。我们的方法使用统一的编码方案，该方案仅依赖标准分析工具即可产生显式构造。我们证明，具有两个leaky ReLU激活函数$\sigma_\alpha$, $\sigma_{-\alpha}$的前馈神经网络在$L^p$逼近中达到了最优宽度$\max\{d_x, d_y\}$，而单个leaky ReLU $\sigma_\alpha$达到了宽度$\max\{2, d_x, d_y\}$，为Cai等人（2023）的结果提供了另一种证明。通过推广到阶梯式leaky ReLU激活函数，我们将这些结果扩展到连续函数的一致逼近，同时识别出与基于梯度的训练兼容的激活函数集。由于我们的构造通过中间维度一，这意味着具有一维特征空间的自动编码器是通用逼近器。我们进一步证明，可压缩激活函数结合FLOOR在一致逼近中达到了宽度$\max\{3, d_x, d_y\}$。我们还为所有激活函数都是连续且单调且$d_y \leq 2d_x$的网络建立了下界$\max\{d_x, d_y\} + 1$。此外，我们将结果扩展到可逆的LU分解网络，证明了LU-Net归一化流的分布通用逼近，并为Brenier和Gangbo关于通过微分同胚进行$L^p$逼近的经典定理提供了构造性证明。