中文

图神经网络中的泛化:基于图扩散的改进PAC-Bayesian界

机器学习 2023-10-25 v3 社会与信息网络 统计理论 机器学习 统计理论

摘要

图神经网络是广泛用于图预测任务的工具。受其实证性能的启发,先前工作已开发出图神经网络的泛化界,其随图结构以最大度数的形式缩放。在本文中,我们给出泛化界,其改为随图神经网络特征扩散矩阵的最大奇异值缩放。对于真实世界图,这些界在数值上远小于先前的界。我们还构造了泛化差距的下界,其在渐近意义上与我们的上界相匹配。为取得这些结果,我们分析了一个统一模型,其包含先前工作的设定(即卷积与消息传递网络)以及新设定(即图同构网络)。我们的关键思想是利用Hessian来度量图神经网络对噪声扰动的稳定性。在实证上,我们发现基于Hessian的度量与观测到的图神经网络泛化差距准确相关。针对微调预训练图神经网络优化噪声稳定性性质,也改善了若干图级分类任务上的测试性能。

关键词

引用

@article{arxiv.2302.04451,
  title  = {Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion},
  author = {Haotian Ju and Dongyue Li and Aneesh Sharma and Hongyang R. Zhang},
  journal= {arXiv preprint arXiv:2302.04451},
  year   = {2023}
}

备注

36 pages. Appeared in AISTATS 2023