图神经网络泛化界的 PAC-Bayesian 方法
机器学习
2020-12-15 v1
摘要
本文中，我们通过 PAC-Bayesian 方法推导两类主要图神经网络（GNNs）的泛化界，即图卷积网络（GCNs）与消息传递 GNNs（MPGNNs）。我们的结果表明，最大节点度与权重的谱范数控制着两类模型的泛化界。我们还证明，我们对GCNs的界是 arXiv:1707.09564v2 [cs.LG] 中针对全连接与卷积神经网络所发展结果的自然推广。对于消息传递 GNNs，我们的 PAC-Bayes 界改进了 arXiv:2002.06157v1 [cs.LG] 中基于 Rademacher 复杂度的界，展现出对最大节点度与最大隐藏维数更紧的依赖。我们证明的关键要素是对GNNs的扰动分析以及将 PAC-Bayes 分析推广至非齐次 GNNs。我们在多个真实图数据集上进行了实证研究，并验证我们的 PAC-Bayes 界比其他界更紧。
引用
@article{arxiv.2012.07690,
title = {A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks},
author = {Renjie Liao and Raquel Urtasun and Richard Zemel},
journal= {arXiv preprint arXiv:2012.07690},
year = {2020}
}