过压缩如何影响 GNN 的表达能力？
机器学习
2024-02-14 v3 机器学习
摘要
图神经网络（GNNs）是图结构数据机器学习的 state-of-the-art 模型。最流行的 GNN 类别通过相邻节点间交换信息运作，被称为消息传递神经网络（MPNNs）。鉴于其广泛使用，理解 MPNNs 的表达能力是一关键问题。然而，现有结果通常考虑节点特征无信息的设定。本文中，我们提供严格分析以确定给定容量的 MPNN 可学习哪些节点特征函数类。我们通过度量 MPNN 所允许的节点间两两交互水平来实现。该度量提供了对所谓过压缩（over-squashing）效应的新颖定量刻画，该效应在大量消息被聚合为固定大小向量时被观察到。利用我们的度量，我们证明：为保证节点对间充分通信，MPNN 的容量必须足够大，其取决于输入图结构的性质，如通勤时间（commute times）。对许多相关场景，我们的分析在实践中导致不可能性结论，表明过压缩阻碍了 MPNNs 的表达能力。我们通过广泛的受控实验与消融研究验证理论发现。
引用
@article{arxiv.2306.03589,
title = {How does over-squashing affect the power of GNNs?},
author = {Francesco Di Giovanni and T. Konstantin Rusch and Michael M. Bronstein and Andreea Deac and Marc Lackenby and Siddhartha Mishra and Petar Veličković},
journal= {arXiv preprint arXiv:2306.03589},
year = {2024}
}
备注
36 pages; Published in Transactions on Machine Learning Research (TMLR)