有限宽神经网络的实证分析：我们能信任神经正切核理论吗？
机器学习
2022-02-02 v3 机器学习
摘要
神经正切核（NTK）理论被广泛用于研究无限宽深度神经网络（DNN）在梯度下降下的动力学。但无限宽网络的结果是否能提示真实有限宽网络的行为？本文从经验上研究NTK理论对全连接ReLU与sigmoid DNN在实践中的有效性。我们发现网络是否处于NTK regime取决于随机初始化的超参数与网络深度。特别地，NTK理论无法解释初始化使梯度随层传播而爆炸的足够深网络的行为：此时核在初始化时为随机的，并在训练中显著变化，与NTK理论相反。另一方面，在梯度消失的情况下，DNN处于NTK regime，但随深度迅速变得不可训练。我们还描述了一种借助NTK理论研究DNN泛化性质（尤其是网络输出函数方差）的框架，并讨论其局限。
引用
@article{arxiv.2012.04477,
title = {Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory?},
author = {Mariia Seleznova and Gitta Kutyniok},
journal= {arXiv preprint arXiv:2012.04477},
year = {2022}
}