深度整流器网络对光滑性类的逼近

我们考虑在任意维度$d$上、一般域中，稀疏连接深度线性整流单元（ReLU）与整流幂单元（RePU）神经网络对Besov空间$B^\alpha_{q}(L^p)$中函数的逼近速率。我们证明，具有固定激活函数的深度整流器网络在临界嵌入线$1/\tau=\alpha/d+1/p$上对Besov空间$B^\alpha_{\tau}(L^\tau)$中的函数达到最优或近最优逼近速率，其中光滑性阶$\alpha>0$任意。利用插值理论，这意味着临界线及以上整个光滑性类范围被深度ReLU/RePU网络（近）最优逼近。