深度 ReLU 神经网络在非等距数据点插值上的紧下界

我们研究深度 ReLU 神经网络的插值能力。具体而言，我们考虑在参数数量方面，深度 ReLU 网络能以多高的效率对单位球中 $N$ 个相距距离为 $\delta$ 的数据点的值进行插值。我们证明在 $\delta$ 关于 $N$ 指数级小的情形下，需要 $\Omega(N)$ 个参数，这给出了该情形下的紧结果，因为 $O(N)$ 个参数总是足够的。这也表明用于证明 VC 维下界的位提取技术无法应用于非等距数据点。最后，作为一个应用，我们给出了深度 ReLU 神经网络在嵌入端点处对 Sobolev 空间所能达到的逼近速率的下界。