图神经网络本质上是良好的泛化器：通过桥接 GNN 与 MLP 获得的见解
机器学习
2023-08-07 v4
摘要
图神经网络（GNN）作为图表示学习的事实标准模型类别，建立在多层感知器（MLP）架构之上，并增加了额外的消息传递层，使特征能够在节点间流动。虽然传统观点通常将 GNN 的成功归因于其高级的表达能力，但我们推测这并不是 GNN 在节点级预测任务中优越性的主要原因。本文通过引入一个名为 P(ropagational)MLP 的中间模型类别，指出 GNN 性能提升的主要来源是其内在的泛化能力。PMLP 在训练时与标准 MLP 完全相同，但在测试时采用 GNN 的架构。有趣的是，我们观察到 PMLP 的表现始终与对应的 GNN 相当（甚至超过），同时训练效率更高。这一发现为理解 GNN 的学习行为提供了新的见解，并可作为剖析各种 GNN 相关研究问题的分析工具。作为分析 GNN 内在泛化能力的初步步骤，我们展示了 MLP 和 PMLP 在无限宽度极限下的本质区别在于训练后阶段的 NTK 特征图。此外，通过检查它们的外推行为，我们发现尽管许多 GNN 及其对应的 PMLP 无法对极端分布外样本外推非线性函数，但它们作为 GNN 架构的天然优势，具有更大的潜力泛化到训练数据范围附近的测试样本。
引用
@article{arxiv.2212.09034,
title = {Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs},
author = {Chenxiao Yang and Qitian Wu and Jiahua Wang and Junchi Yan},
journal= {arXiv preprint arXiv:2212.09034},
year = {2023}
}
备注
Accepted to ICLR 2023. Codes in https://github.com/chr26195/PMLP