解耦图神经网络的深度与感受野范围
机器学习
2022-01-21 v1 人工智能
摘要
当前最先进的图神经网络（GNN）在图和模型规模方面可扩展性有限。在大型图上，增加模型深度往往意味着感受野（即 receptive field）的指数级扩张。仅超出几层后，就会出现两个基本挑战：1. 由于过平滑导致的表达能力退化；2. 由于邻域爆炸导致的昂贵计算。我们提出一种解耦 GNN 深度与感受野范围的设计原则——为生成目标实体（即节点或边）的表示，我们首先提取一个局部子图作为有界大小的感受野范围，然后在该子图上应用任意深度的 GNN。恰当提取的子图由少量关键邻居组成，同时排除不相关的邻居。无论 GNN 多深，它都将局部邻域平滑为信息丰富的表示，而不是将全局图过平滑为“白噪声”。理论上，从图信号处理（GCN）、函数逼近（GraphSAGE）和拓扑学习（GIN）的角度，解耦提升了 GNN 的表达能力。在经验上，在七个图（多达 1.1 亿节点）和六种骨干 GNN 架构上，我们的设计在将计算和硬件成本降低数个数量级的同时，实现了显著的准确率提升。
引用
@article{arxiv.2201.07858,
title = {Decoupling the Depth and Scope of Graph Neural Networks},
author = {Hanqing Zeng and Muhan Zhang and Yinglong Xia and Ajitesh Srivastava and Andrey Malevich and Rajgopal Kannan and Viktor Prasanna and Long Jin and Ren Chen},
journal= {arXiv preprint arXiv:2201.07858},
year = {2022}
}
备注
Accepted to NeurIPS 2021