深度神经网络如何突破维度诅咒：组合性与对称性学习

我们表明，深度神经网络(DNNs)能够高效学习具有有界$F_{1}$范数的所有函数组合，这使得DNNs以浅层网络无法实现的方式突破维度诅咒。更具体地，我们推导了一种结合组合性覆盖数论证和$F_{1}$范数（或相关的Barron范数）用于大宽度适应性的泛化界限。我们指出，DNNs的全局最小化者可以拟合例如由两个函数的组合$f^{*}=h\circ g$从少量观察中获得的函数，前提是$g$是光滑/规则的并且降低了维度（例如，$g$可以是$f^{*}$对称性的商映射），以便即使$h$在正则性较低的情况下也能被学习。我们考虑的正则性度量是不同可分性水平的Sobolev范数，这适用于$F_{1}$范数。我们经验性地计算了比例定律并观察到根据我们的理论预测，在$g$或$h$更难学习时会出现相位转变。