求解图神经切线核是否等价于训练图神经网络？
机器学习
2023-09-15 v1
摘要
理论深度学习中的一个新兴趋势是通过神经切线核（Neural Tangent Kernel, NTK）[jgh18] 来理解深度学习为何有效，这是一种核方法，等价于使用梯度下降训练多层无限宽神经网络。NTK 是理论深度学习的重大进展，因为它允许研究者使用传统数学工具分析深度神经网络的性质，并从理论视角解释各种神经网络技术。NTK 在图学习上的自然推广是图神经切线核（Graph Neural Tangent Kernel, GNTK），研究者已给出图级回归的 GNTK 公式，并从实验上表明该核方法在多个生物信息学数据集上可达到与 GNN 相近的精度 [dhs+19]。剩下的问题是：求解 GNTK 回归是否等价于使用梯度下降训练无限宽多层 GNN。本文给出三个新的理论结果。首先，我们正式证明了图级回归下的该等价性。其次，我们给出首个节点级回归的 GNTK 公式。最后，我们证明了节点级回归下的等价性。
引用
@article{arxiv.2309.07452,
title = {Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?},
author = {Lianke Qin and Zhao Song and Baocheng Sun},
journal= {arXiv preprint arXiv:2309.07452},
year = {2023}
}