深度残差网络的缩放性质
机器学习
2021-06-11 v2 数值分析
神经与进化计算
数值分析
机器学习
摘要
残差网络（ResNets）在模式识别中已展现出令人印象深刻的成果，且近来由于被认为与神经常微分方程（neural ODEs）存在关联而引起了相当多的理论关注。这一关联依赖于网络权重随层数增加收敛到光滑函数。我们通过详细的数值实验，研究了随机梯度下降训练的权重的属性及其随网络深度的缩放规律。我们观察到存在与神经ODE文献中所假设明显不同的缩放机制。取决于网络架构的某些特征（如激活函数的光滑性），人们可能得到另一种ODE极限、随机微分方程或两者皆非。这些发现对神经ODE模型作为深度ResNets的恰当渐近描述的有效性提出质疑，并指出一类替代的微分方程能更好地描述深度网络极限。
引用
@article{arxiv.2105.12245,
title = {Scaling Properties of Deep Residual Networks},
author = {Alain-Sam Cohen and Rama Cont and Alain Rossier and Renyuan Xu},
journal= {arXiv preprint arXiv:2105.12245},
year = {2021}
}
备注
Published at ICML 2021