深度卷积神经网络理论 III：逼近径向函数

我们考虑一类深度神经网络，其由两个卷积层组、一个下采样算子和一个全连接层组成。该网络结构依赖于两个结构参数，它们决定了卷积层的数量和全连接层的宽度。当被逼近函数取复合形式 $f\circ Q$（其中 $Q$ 为特徵多项式，$f$ 为一元函数）时，我们建立了带有显式逼近速率的逼近理论。特别地，我们证明当数据来自 $\mathbb{R}^d$ 且维度 $d$ 较大时，以 $Q(x) =|x|^2$ 这样的网络在逼近径向函数上优于全连接浅层网络。这给出了深度卷积神经网络在逼近具有特殊结构函数方面优越性的首个严格证明。随后，我们在回归函数为 $f\circ Q$ 形式的回归框架下，对此深度网络的经验风险最小化进行了泛化分析。我们的网络结构不使用任何复合信息或函数 $Q$ 和 $f$，而是通过调节结构参数自动提取特徵并利用回归函数的复合性质。我们的分析给出了一个误差界，它随网络深度减小至最小值后又增大，从理论上验证了在许多实际应用中观察到的网络深度的权衡现象。