中文

从星形到子图:以局部结构感知提升任意 GNN

机器学习 2022-04-22 v3 机器学习

摘要

消息传递神经网络(MPNNs)是一类常见的图神经网络(GNN),其中每个节点的表示通过类似星形模式从其直接邻居聚合表示(消息)递归计算。MPNNs 因高效和可扩展而具吸引力,然而其表达能力受一阶 Weisfeiler-Lehman 同构检验(1-WL)的上界限制。对此,先前工作以可扩展性和有时泛化性能为代价提出了极具表达力的模型。我们的工作介于这两种机制之间:我们引入一个通用框架,以有限的可扩展性开销和大幅改进的实际性能来提升任意 MPNN 的表达能力。我们通过将 MPNNs 中的局部聚合从星形模式扩展到一般子图模式(例如 k-egonets)来实现这一点:在我们的框架中,每个节点表示是周围诱导子图的编码,而非仅直接邻居(即星形)的编码。我们选择子图编码器为 GNN(主要考虑可扩展性而用 MPNNs)来设计一个通用框架,作为提升任意 GNN 的封装器。我们称所提方法为 GNN-AK(GNN As Kernel),因为该框架类似于用 GNN 替换核的卷积神经网络。理论上,我们证明我们的框架严格强于 1&2-WL,且不强于 3-WL。我们还设计了子图采样策略,在保持性能的同时大幅减少内存占用并提升速度。我们的方法在若干知名图机器学习任务上以大幅优势刷新了 SOTA 性能;具体而言,在 ZINC 上 MAE 为 0.08,在 CIFAR10 和 PATTERN 上准确率分别为 74.79% 和 86.887%。

关键词

引用

@article{arxiv.2110.03753,
  title  = {From Stars to Subgraphs: Uplifting Any GNN with Local Structure Awareness},
  author = {Lingxiao Zhao and Wei Jin and Leman Akoglu and Neil Shah},
  journal= {arXiv preprint arXiv:2110.03753},
  year   = {2022}
}

备注

Expressive GNN framework