ReLU 网络在逼近紧支撑函数时是否具有优势

我们研究了在使用前馈神经网络实现紧支撑可积函数的支撑集的同时逼近这些函数的问题。我们的第一个主要结果将这一“结构化”逼近问题转化为一个普适性问题。为此，我们在局部可积函数空间 $L^1_{\operatorname{loc}}(\mathbb{R}^d,\mathbb{R}^D)$ 上构造了通常拓扑的一个加细，其中紧支撑函数只能被具有匹配离散化支撑的函数在 $L^1$ 范数下逼近。我们证明了带双线性池化层的 ReLU 前馈网络在这一加细拓扑中具有普适性。由此，我们发现带双线性池化的 ReLU 前馈网络可以在实现其离散化支撑的同时逼近紧支撑函数。我们在紧支撑 Lipschitz 函数这一稠密子类上导出了我们普适逼近定理的定量一致版本。该定量结果通过目标函数的正则性、其本质支撑的度量容量与直径，以及输入输出空间的维数，给出了构造此 ReLU 网络所需的深度、宽度和双线性池化层数量。反之，我们证明了多项式回归器和解析前馈网络在该空间中不具有普适性。