特征空间重构：神经网络中空间与频率的一种原理

理解神经网络取得巨大成功背后的基本原理是深度学习中最重要的开放问题之一。然而，由于该问题高度复杂，进展相对缓慢。在本札记中，我们通过无限宽网络（亦称神经核）的视角，提出了由层次化局部性所产生的一条此类原理。众所周知，无限宽多层感知机（MLP）的特征结构仅依赖于概念频率，其衡量交互的阶数。我们表明，深度卷积网络（CNN）的拓扑结构将相关的特征空间重构为更精细的子空间。除频率外，新结构还依赖于概念空间，其衡量非线性交互项之间的空间距离。由此产生的细粒度特征结构显著改善了网络的可学习性，使其能同时建模丰富得多的交互类别，包括长程低频交互、短程高频交互以及二者之间各种插值和外推。此外，模型缩放可改善插值和外推的分辨率，从而改善网络的可学习性。最后，我们给出了高维设定下任意深度无限宽 CNN 泛化误差的精确刻画。由此得到两个推论：（1）无限宽深度 CNN 可在不损失表达性的情况下打破维数灾难；（2）缩放在有限和无限数据情形下均能提升性能。