高维逼近中的深度 ReLU 神经网络

我们研究深度 ReLU（修正线性单元）神经网络在逼近定义于 $d$ 维单位立方体上混合光滑性 Hölder-Zygmund 空间函数时的计算复杂度，其中维度 $d$ 可能非常大。逼近误差在各向同性 Sobolev 空间范数下度量。对混合光滑性 Hölder-Zygmund 空间中的每个函数 $f$，我们显式构造一个深度 ReLU 神经网络，其输出以给定精度 $\varepsilon$ 逼近 $f$，并证明该逼近的计算复杂度（刻画为该深度 ReLU 神经网络的大小与深度）关于 $d$ 与 $\varepsilon$ 的紧致维度相关上下界。这些结果的证明尤其依赖于基于 Faber 级数的稀疏网格采样恢复逼近。