神经正切核启发具有交叉协方差图的图神经网络
机器学习
2023-10-18 v1 机器学习
摘要
神经正切核(NTKs)提供了一种理论机制,用于分析过参数化神经网络的学习和泛化行为。对于监督学习任务,NTK 核的特征向量与给定数据之间的关联(本文称为对齐的概念)可控制梯度下降的收敛速度以及对未见过数据的泛化。基于这一概念,我们在图神经网络(GNNs)的背景下研究 NTKs 与对齐,我们的分析表明优化对齐等价于优化 GNN 中的图表示或图偏移算子。我们的结果进一步为两层 GNN 对齐的最优性建立了理论保证,这些保证的特征在于图偏移算子是输入与输出数据之间交叉协方差的函数。从 NTKs 分析得出的理论见解通过我们针对公开数据集的多变量时间序列预测任务的实验得到验证。具体而言,它们表明以交叉协方差作为图偏移算子的 GNN 确实优于那些仅基于输入数据协方差矩阵运行的 GNN。
引用
@article{arxiv.2310.10791,
title = {Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs},
author = {Shervin Khalafi and Saurabh Sihag and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:2310.10791},
year = {2023}
}