线性宽度神经网络的共轭核与神经正切核谱
机器学习
2020-10-13 v3 机器学习
概率论
统计理论
统计理论
摘要
我们研究了与多层前馈神经网络相关的共轭核（Conjugate Kernel）和神经正切核（Neural Tangent Kernel）的特征值分布。在网络宽度随样本量线性增加的渐近机制下，在权重随机初始化且输入样本满足近似成对正交性的条件下，我们证明了 CK 和 NTK 的特征值分布收敛到确定性极限。CK 的极限通过在隐藏层间迭代 Marcenko-Pastur 映射来描述。NTK 的极限等价于各层 CK 矩阵线性组合的极限，并可通过扩展该 Marcenko-Pastur 映射的递归不动点方程来描述。我们展示了这些渐近预测与合成数据及 CIFAR-10 训练数据观测谱的一致性，并进行了一个小型模拟来研究这些谱在训练过程中的演变。
引用
@article{arxiv.2005.11879,
title = {Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks},
author = {Zhou Fan and Zhichao Wang},
journal= {arXiv preprint arXiv:2005.11879},
year = {2020}
}