关于使用深度ReLU神经网络最优逼近Sobolev和Besov函数的研究

本文研究了当误差在$L^p([0,1]^d)$范数下度量时，Sobolev空间$\mathcal{W}^{s,q}([0,1]^d)$和Besov空间$\mathcal{B}^s_{q,r}([0,1]^d)$中的函数能被宽度为$W$、深度为$L$的深度ReLU神经网络多有效地逼近的问题。该问题已被近期的几项工作研究，当$p=q=\infty$时，得到了忽略对数因子的逼近速率$\mathcal{O}((WL)^{-2s/d})$；当Sobolev嵌入条件$1/q -1/p<s/d$成立时，对于固定宽度的网络得到了速率$\mathcal{O}(L^{-2s/d})$。我们推广了这些结果，证明了在Sobolev嵌入条件下，速率$\mathcal{O}((WL)^{-2s/d})$确实成立。已知该速率在忽略对数因子的情况下是最优的。我们证明中的关键工具是使用具有可变宽度和深度的深度ReLU神经网络对稀疏向量进行的一种新颖编码，这可能具有独立的研究意义。