图神经网络中的泛化:基于图扩散的改进PAC-Bayesian界
机器学习
2023-10-25 v3 社会与信息网络
统计理论
机器学习
统计理论
摘要
图神经网络是广泛用于图预测任务的工具。受其实证性能的启发,先前工作已开发出图神经网络的泛化界,其随图结构以最大度数的形式缩放。在本文中,我们给出泛化界,其改为随图神经网络特征扩散矩阵的最大奇异值缩放。对于真实世界图,这些界在数值上远小于先前的界。我们还构造了泛化差距的下界,其在渐近意义上与我们的上界相匹配。为取得这些结果,我们分析了一个统一模型,其包含先前工作的设定(即卷积与消息传递网络)以及新设定(即图同构网络)。我们的关键思想是利用Hessian来度量图神经网络对噪声扰动的稳定性。在实证上,我们发现基于Hessian的度量与观测到的图神经网络泛化差距准确相关。针对微调预训练图神经网络优化噪声稳定性性质,也改善了若干图级分类任务上的测试性能。
引用
@article{arxiv.2302.04451,
title = {Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion},
author = {Haotian Ju and Dongyue Li and Aneesh Sharma and Hongyang R. Zhang},
journal= {arXiv preprint arXiv:2302.04451},
year = {2023}
}
备注
36 pages. Appeared in AISTATS 2023