通过图双连通性重新思考 GNN 的表达能力
机器学习
2024-02-13 v3 机器学习
摘要
设计具有表达力的图神经网络(GNN)是图结构数据学习中的核心课题。尽管已提出大量方法来基于 Weisfeiler-Lehman(WL)测试改进 GNN,但总体上仍缺乏对它们能够系统性且可证明地获得何种额外能力的深入理解。本文中,我们采取一种根本不同的视角来研究 WL 测试之外 GNN 的表达能力。具体而言,我们引入了一类通过图双连通性的新颖表达力度量,并强调了它们在理论与实践中的重要性。由于双连通性可使用具有线性计算成本的简单算法轻易计算,自然可以预期流行的 GNN 也能轻易学习它。然而,在彻底回顾先前的 GNN 架构后,我们惊讶地发现它们中的大多数对这些度量中的任何一个都不具表达能力。唯一的例外是 ESAN 框架,我们给出了其能力的一个理论依据。我们进而引入一种原则性且更高效的途径,称为广义距离 Weisfeiler-Lehman(GD-WL),它被证明对所有双连通性度量都具有表达能力。在实践中,我们展示 GD-WL 可由一个类 Transformer 架构实现,该架构保持表达能力并享有完全并行性。在合成与真实数据集上的一组实验表明,我们的方法能够持续优于先前的 GNN 架构。
引用
@article{arxiv.2301.09505,
title = {Rethinking the Expressive Power of GNNs via Graph Biconnectivity},
author = {Bohang Zhang and Shengjie Luo and Liwei Wang and Di He},
journal= {arXiv preprint arXiv:2301.09505},
year = {2024}
}
备注
Extended from ICLR 2023 Outstanding Paper; 60 pages, 12 figures. Fix typos in the previous version