图神经网络的零一律
机器学习
2024-11-11 v5
摘要
图神经网络(GNNs)是图上机器学习的实际标准深度学习架构。这导致了大量分析这些模型能力与局限性的工作,特别是关于其表示与外推能力。我们通过回答以下问题,为 GNN 的表示与外推能力提供了一个新颖的理论视角:当图节点数量变得非常大时,GNN 如何表现?在温和假设下,我们证明当从 Erdős-Rényi 模型抽取大小递增的图时,这类图被一类 GNN 分类器映射到特定输出的概率趋于零或一。该类包含流行的图卷积网络架构。该结果建立了这些 GNN 的“零一律”,并且类似于其他收敛律,带来了对其容量的理论限制。我们通过实验验证了我们的结果,观察到理论渐近极限在相对小的图上已显而易见。
引用
@article{arxiv.2301.13060,
title = {Zero-One Laws of Graph Neural Networks},
author = {Sam Adam-Day and Theodor Mihai Iliant and İsmail İlkan Ceylan},
journal= {arXiv preprint arXiv:2301.13060},
year = {2024}
}
备注
NeurIPS '23 camera-ready version; 10 pages + references + 10 pages appendices, 7 figures