张量程序II：任意架构的神经正切核
机器学习
2020-12-01 v4 无序系统与神经网络
机器学习
神经与进化计算
摘要
我们证明，任意架构的随机初始化神经网络在其宽度趋于无穷时，其正切核(NTK)收敛于一个确定性极限。我们展示了如何计算这一极限。在先前文献中，对神经网络梯度的启发式研究常假设前向传播中使用的每个权重矩阵与其在反向传播中使用的转置相互独立(Schoenholz等，2017)。这被称为梯度独立性假设(GIA)。我们确定了一个通常满足的条件，称之为简单GIA检验，使得基于GIA的NTK极限计算是正确的。反之，当简单GIA检验失败时，我们展示GIA会导致错误答案。我们此处的材料以易懂的方式呈现了Yang (2019a)的NTK结果，并展示了用于理解宽神经网络的张量程序技术。我们在 https://github.com/thegregyang/NTK4A 提供了循环神经网络、Transformer与批归一化的无限宽NTK的参考实现。
引用
@article{arxiv.2006.14548,
title = {Tensor Programs II: Neural Tangent Kernel for Any Architecture},
author = {Greg Yang},
journal= {arXiv preprint arXiv:2006.14548},
year = {2020}
}
备注
11 pages of main text. 60 pages total. August 2020: Fixed "BP-like" definition