深度残差网络的渐近分析
机器学习
2023-01-26 v2
摘要
我们研究了深度残差网络（ResNets）随着层数增加的渐近性质。我们首先展示了训练权重的缩放 regime 明显不同于神经 ODE 文献中隐式假设的那些。我们研究了这些缩放 regime 中隐藏状态动态的收敛性，表明人们可能得到常微分方程（ODE）、随机微分方程（SDE）或两者皆非。特别地，我们的发现指向一个扩散 regime 的存在，其中深度网络极限由一类随机微分方程（SDEs）描述。最后，我们推导了反向传播动态对应的缩放极限。
引用
@article{arxiv.2212.08199,
title = {Asymptotic Analysis of Deep Residual Networks},
author = {Rama Cont and Alain Rossier and Renyuan Xu},
journal= {arXiv preprint arXiv:2212.08199},
year = {2023}
}
备注
49 pages, 12 figures. arXiv admin note: substantial text overlap with arXiv:2105.12245