深层网络在流形上的表达能力：同时逼近

科学机器学习中的一个关键挑战是解方程在复杂域上的偏微分方程(PDE)，其中曲面几何复杂化了对函数及其导数进行逼近，这些函数是微分算子所必需的。本文在流形上建立了深度神经网络的第一个同时逼近理论。我们证明，一个常数深度的 ReLU^{k-1} 网络具有有界权重——这一属性在控制泛化误差方面发挥关键作用——可将误差为 $\varepsilon$ 的任意函数在 $\mathcal{W}_p^{s}(\mathcal{M}^d)$ 范数下逼近 $\mathcal{W}_p^{k}(\mathcal{M}^d)$ 空间中的函数，对于 $k\geq 3$ 和 $s<k$，使用 $\mathcal{O}(\varepsilon^{-d/(k-s)})$ 个非零参数，该速率通过仅依赖于内在维数 $d$ 来克服维度诅咒。这些结果 readily 扩展到 H"older-Zygmund 空间中的函数。我们补充了匹配的下界，证明我们的构造在对数因子上接近最优，表明所需参数数量与之相当。我们引入的下界证明中提出了对网络高阶导数类 Vapnik-Chervonenkis 维数和伪维数的新估计。这些复杂度界限为涉及导数的流形PDE学习提供了理论基石。我们的分析揭示了网络架构如何利用稀疏结构高效地利用流形的低维几何。最后，我们用数值实验来证明我们的理论发现。