基于神经切线层级理解残差网络
机器学习
2023-05-29 v1 最优化与控制
统计理论
机器学习
统计理论
摘要
尽管目标函数非凸，梯度下降仍能在多项式时间内使深度神经网络训练损失为零。由 \cite{Jacot2018Neural} 引入的神经切线核（NTK）可描述无限宽极限下经梯度下降训练的网络行为。本文中，我们利用 \cite{Huang2019Dynamics} 提出的神经切线层级（NTH）研究有限宽深度残差网络（ResNet）的 NTK 动力学。对于具有光滑且 Lipschitz 激活函数的 ResNet，我们将层宽 相对于训练样本数 的要求从四次方降至三次方。我们的分析强烈暗示，ResNet 特有的跳跃连接结构是其胜过全连接网络的主要原因。
引用
@article{arxiv.2007.03714,
title = {Towards an Understanding of Residual Networks Using Neural Tangent Hierarchy (NTH)},
author = {Yuqing Li and Tao Luo and Nung Kwan Yip},
journal= {arXiv preprint arXiv:2007.03714},
year = {2023}
}
备注
72 pages, 1 figure