深度残差神经网络相比浅层网络导出的更小泛化误差

我们证明了一个具有 $L$ 个随机傅里叶特征层 $\bar z_{\ell+1}=\bar z_\ell + \mathrm{Re}\sum_{k=1}^K\bar b_{\ell k}e^{\mathrm{i}\omega_{\ell k}\bar z_\ell}+ \mathrm{Re}\sum_{k=1}^K\bar c_{\ell k}e^{\mathrm{i}\omega'_{\ell k}\cdot x}$ 的残差神经网络的泛化误差估计。推导了随机傅里叶特征 $e^{\mathrm{i}\omega_{\ell k}\bar z_\ell}$ 和 $e^{\mathrm{i}\omega'_{\ell k}\cdot x}$ 的频率 $(\omega_{\ell k},\omega'_{\ell k})$ 的最优分布。该推导基于函数 values $f(x)$ 近似的相应泛化误差。结果表明，在 $f$ 的 $L^\infty$ 范数远小于其傅里叶变换 $\hat f$ 的 $L^1$ 范数的情况下，该泛化误差小于具有一个隐藏层且相同总节点数 $KL$ 的随机傅里叶特征的泛化误差估计 ${\|\hat f\|^2_{L^1(\mathbb{R}^d)}}/{(KL)}$。这种对随机特征最优分布的理解被用于构造一种深度残差网络的新训练方法。所提出新算法的良好性能在计算实验中得到了展示。