图神经正切核：在大图上的收敛性
机器学习
2023-06-02 v2 统计理论
应用统计
统计计算
机器学习
统计理论
摘要
图神经网络（GNNs）在图机器学习任务中取得卓越性能，但在大图数据上可能难以训练，其学习动态尚未被充分理解。我们利用图神经正切核（GNTKs）与图子（graphons）研究大图GNNs的训练动态。在宽限度下，过参数化NN的优化等价于在NTK上的核回归。此处，我们研究当另一独立维度——图大小——变化时GNTK如何演化。我们使用图子来定义极限对象——用于GNNs的图子NN与用于GNTKs的图子NTK——，并证明在图序列上GNTKs收敛于图子NTK。我们进一步证明GNTK的谱（其与早期停止时相关的最快学习方向有关）收敛于图子NTK的谱。这意味着在大图极限下，在中等大小图上拟合的GNTK可用于在大型图上解决相同任务，并推断大图GNN的学习动态。这些结果在节点回归与分类任务上得到了实证验证。
引用
@article{arxiv.2301.10808,
title = {Graph Neural Tangent Kernel: Convergence on Large Graphs},
author = {Sanjukta Krishnagopal and Luana Ruiz},
journal= {arXiv preprint arXiv:2301.10808},
year = {2023}
}
备注
Accepted in the 40th International Conference on Machine Learning (ICML), Honolulu, Hawaii