Sobolev空间上深度超ReLU网络的近最优逼近速率

本文引入深度超ReLU网络（DSRNs）作为在Sobolev空间中对函数进行逼近的方法，度量采用Sobolev范数$W^{m,p}$，其中$m\in\mathbb{N}$且$m\ge 2$，$1\le p\le +\infty$。标准ReLU深度神经网络（ReLU DNNs）无法实现此目标。DSRNs主要由ReLU DNNs构成，并在末端添加若干层ReLU平方以平滑网络输出。该方法保留了ReLU DNNs的优势，使训练更为简便。本文还通过估计DNNs高阶导数的VC维证明了DSRNs的最优性，并借助DNNs高阶导数的伪维估计得到Sobolev空间中的泛化误差。