Sobolev 空间与 Besov 空间上深度 ReLU 神经网络的最优逼近速率

设 $\Omega = [0,1]^d$ 为 $\mathbb{R}^d$ 中的单位立方体。我们研究在参数数量意义上，具有 ReLU 激活函数的深度神经网络能以多高的效率逼近 Sobolev 空间 $W^s(L_q(\Omega))$ 与 Besov 空间 $B^s_r(L_q(\Omega))$ 中的函数，误差以 $L_p(\Omega)$ 范数度量。该问题在研究神经网络在科学计算与信号处理等诸多领域的应用时十分重要，此前仅在 $p=q=\infty$ 的情形下得到解决。我们的贡献是为所有满足相应 Sobolev 或 Besov 空间紧嵌入 $L_p$ 的 $1\leq p,q\leq \infty$ 与 $s > 0$ 给出了完整解。关键技术工具是一种新颖的位提取技术，可对稀疏向量进行最优编码。这使我们能在 $p > q$ 的非线性 regime 中获得尖锐的上界。我们还提出了一种基于 VC 维推导 $p < \infty$ 时 $L_p$ 逼近下界的新方法。我们的结果表明，非常深的 ReLU 网络在参数数量上显著优于经典逼近方法，但代价是参数不可编码。