光滑函数的神经网络同时逼近

在这项工作中，受近期利用深度神经网络求解偏微分方程的数值求解器发展的推动，我们建立了深度神经网络在Sobolev范数下对光滑函数的逼近结果。我们的逼近结果是非渐近的，意指误差界被显式刻画为网络宽度和深度同时的函数，且所有涉及的常数均被显式确定。即，对于$f\in C^s([0,1]^d)$，我们表明宽度为$\mathcal{O}(N\log{N})$、深度为$\mathcal{O}(L\log{L})$的深度ReLU网络相对于$\mathcal{W}^{1,p}([0,1]^d)$范数（其中$p\in[1,\infty)$）可实现$\mathcal{O}(N^{-2(s-1)/d}L^{-2(s-1)/d})$的非渐近逼近速率。若使用ReLU函数或其平方作为激活函数构造宽度为$\mathcal{O}(N\log{N})$、深度为$\mathcal{O}(L\log{L})$的深度神经网络来逼近$f\in C^s([0,1]^d)$，则相对于$\mathcal{W}^{n,p}([0,1]^d)$范数（其中$p\in[1,\infty)$）的逼近速率为$\mathcal{O}(N^{-2(s-n)/d}L^{-2(s-n)/d})$。