大深度极限下神经切线核的精确收敛速率
机器学习
2022-05-26 v9 机器学习
摘要
Jacot 等人（2018）的近期工作表明，在参数空间中使用梯度下降训练神经网络，与函数空间中相对于神经切线核（NTK）的核梯度下降相关。Lee 等人（2019）基于该结果确立，当网络宽度较大时，使用梯度下降训练的神经网络输出可由线性模型近似。事实上，在正则条件下，NTK 在无限宽度极限下收敛于一个时间无关的核。该区间常被称为 NTK 区间。与此同时，关于信号传播的近期工作（Poole 等人，2016；Schoenholz 等人，2017；Hayou 等人，2019a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们通过量化当网络深度变大时初始化和激活函数对 NTK 的影响，将这两种理论联系起来。特别地，我们提供了 NTK 区间收敛至无限深度区间的收敛速率的全面分析。
引用
@article{arxiv.1905.13654,
title = {Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit},
author = {Soufiane Hayou and Arnaud Doucet and Judith Rousseau},
journal= {arXiv preprint arXiv:1905.13654},
year = {2022}
}
备注
59 pages, 8 figures