基于核的残差网络平滑性分析
机器学习
2021-05-25 v2 机器学习
摘要
深度神经网络成功的一个主要因素是使用复杂架构而非经典多层感知机(MLP)。残差网络(ResNets)在这些强大的现代架构中尤为突出。先前工作聚焦于深度ResNets相对于深度MLP的优化优势。在本文中,我们展示了两种模型的另一区别,即ResNets比MLP更倾向于促进更平滑的插值。我们通过神经正切核(NTK)方法分析该现象。首先,我们计算所考虑ResNet模型的NTK,并证明其在梯度下降训练期间的稳定性。然后,我们通过多种评估方法表明,对于ReLU激活,ResNet的NTK及其核回归结果比MLP的更平滑。我们分析中所观察到的更好平滑性或可解释ResNets更好的泛化能力以及适度衰减残差块的实践。
引用
@article{arxiv.2009.10008,
title = {Kernel-Based Smoothness Analysis of Residual Networks},
author = {Tom Tirer and Joan Bruna and Raja Giryes},
journal= {arXiv preprint arXiv:2009.10008},
year = {2021}
}
备注
Accepted to MSML 2021