图神经网络的细粒度表达能力
机器学习
2023-11-03 v2 离散数学
神经与进化计算
摘要
大量近期工作分析了消息传递图神经网络（MPNNs）的表达能力，主要利用组合技术如用于图同构问题的 维 Weisfeiler-Leman 检验（-WL）。然而，图同构目标本质上是二元的，不能给出两个给定图之间相似程度的洞察。本工作通过考虑 -WL 和 MPNNs 到图子（graphons）的连续扩展解决了这一问题。具体地，我们表明 -WL 的连续变体给出了 MPNNs 在图子上表达能力的精确拓扑刻画，揭示了这些网络能区分哪些图以及分离它们的困难程度。我们识别了 MPNNs 分离点的最细拓扑并证明了万能逼近定理。因此，我们提供了一个结合 -WL 经典刻画的各种拓扑变体的图与图子相似性理论框架。特别地，我们用基于分数同构概念的图距离——树距离，以及通过树同态的子结构计数刻画了 MPNNs 的表达能力，表明这些概念具有与图子上的 -WL 和 MPNNs 相同的表达能力。在实验上，我们通过展示随机初始化的 MPNNs 在未经训练时即表现出与其训练后对应模型相当的竞争性能来验证我们的理论发现。此外，我们基于不同 MPNN 架构保持图距离的能力进行评估，突出了我们的连续 -WL 检验在理解 MPNNs 表达能力方面的重要性。
引用
@article{arxiv.2306.03698,
title = {Fine-grained Expressivity of Graph Neural Networks},
author = {Jan Böker and Ron Levie and Ningyuan Huang and Soledad Villar and Christopher Morris},
journal= {arXiv preprint arXiv:2306.03698},
year = {2023}
}
备注
Accepted at NeurIPS 2023