采用浅层子图采样器的深度图神经网络
机器学习
2022-03-24 v3
摘要
尽管图神经网络（GNN）是用于图表示学习的强大模型，但大多数最先进的模型在超过两到三层后准确率并无显著提升。深度 GNN 从根本上需要解决：1）由过平滑引起的表达力挑战，以及 2）由邻域爆炸引起的计算挑战。我们提出一种简单的“深度 GNN、浅层采样器”设计原则，以同时提升 GNN 的准确率与效率——为生成目标节点的表示，我们使用深度 GNN 仅在一个浅层的局部子图内传递消息。恰当采样的子图可排除无关甚至含噪节点，同时保留关键的邻居特征与图结构。深度 GNN 随后对有用的局部信号进行平滑以增强特征学习，而非将全局图信号过平滑为单纯的“白噪声”。我们从理论上论证了深度 GNN 与浅层采样器相结合为何能带来最佳学习性能。接着我们提出多种采样算法与神经架构扩展以获得良好的实证结果。在最大的公开图数据集 ogbn-papers100M 上，我们以硬件成本降低一个数量级实现了最先进的准确率。
引用
@article{arxiv.2012.01380,
title = {Deep Graph Neural Networks with Shallow Subgraph Samplers},
author = {Hanqing Zeng and Muhan Zhang and Yinglong Xia and Ajitesh Srivastava and Andrey Malevich and Rajgopal Kannan and Viktor Prasanna and Long Jin and Ren Chen},
journal= {arXiv preprint arXiv:2012.01380},
year = {2022}
}
备注
The complete version of this paper is accepted to NeurIPS 2021, available on arXiv under the new title "Decoupling the depth and scope of graph neural networks" (arXiv:2201.07858). This version, "Deep graph neural networks with shallow subgraph samplers", is a short version and we withdraw it to avoid confusion. Please always refer to arXiv:2201.07858