深度 ReLU 网络神经切线核最小特征值的紧界

Quynh Nguyen; Marco Mondelli; Guido Montufar

深度 ReLU 网络神经切线核最小特征值的紧界

机器学习 2022-08-23 v5 机器学习

作者: Quynh Nguyen , Marco Mondelli , Guido Montufar

摘要

近期一系列工作通过神经切线核（NTK）分析了深度神经网络的理论性质。特别地，NTK 的最小特征值已被关联到记忆容量、梯度下降算法的全局收敛性以及深度网络的泛化能力。然而，现有结果要么给出双层情形下的界，要么假设多层层络的 NTK 矩阵谱远离 0。本文中，我们针对深度 ReLU 网络的 NTK 矩阵，在无限宽度极限与有限宽度两种情形下均给出了最小特征值的紧界。在有限宽度设定下，我们考虑的网络架构相当一般：我们要求存在一个具有约 $N$ 个神经元（ $N$ 为数据样本数）的宽层；其余层宽度的缩放是任意的（可达对数因子）。为获得结果，我们分析了若干具有独立意义的量：给出了隐藏特征矩阵最小奇异值的下界，以及输入输出特征映射 Lipschitz 常数的上界。

关键词

神经切线核最小特征值深度 ReLU 网络紧界有限宽度无限宽度奇异值 Lipschitz常数

引用

@article{arxiv.2012.11654,
  title  = {Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks},
  author = {Quynh Nguyen and Marco Mondelli and Guido Montufar},
  journal= {arXiv preprint arXiv:2012.11654},
  year   = {2022}
}

备注

appeared at ICML 2021, this version corrects a mistake in Lemma 5.4 which also affects Lemma 5.5. These two Lemmas have been edited and the corresponding proofs corrected. All the other results remain untouched

深度 ReLU 网络神经切线核最小特征值的紧界

摘要

关键词

引用

备注

相关论文