一般浅层网络的维度无关界

本文证明了一个抽象定理，以统一的方式处理函数逼近中的两个重要问题：避免维度灾难，以及估计流形学习中样本外扩展的逼近度。我们考虑一个抽象（浅层）网络，其包括例如神经网络、径向基函数网络，以及用于各种设置下函数逼近的、定义在数据流形上的核。深度网络是通过根据表示深度网络架构的有向无环图对浅层网络进行复合而获得的。在本文中，我们在所谓的紧致度量测度空间上的 $G$-网络的非常一般的设定下，证明了浅层网络逼近的维度无关界，其中维度的概念通过最大可区分集的基数来定义，推广了立方体或流形维度的概念。我们的技术给出的界随着目标函数积分表示中所涉及核的光滑性而无饱和地改善。在流形学习的背景下，我们的界给出了目标函数到环境空间的样本外扩展的逼近度估计。我们定理的一个结论是，在不要求鲁棒参数选择的情况下，使用诸如 ReLU 这样的非光滑激活函数的深度网络，仅在逼近度方面相对于浅层网络并不提供任何显著优势。